CN117726627B - 芯片表面缺陷检测方法及设备 - Google Patents
芯片表面缺陷检测方法及设备 Download PDFInfo
- Publication number
- CN117726627B CN117726627B CN202410179211.XA CN202410179211A CN117726627B CN 117726627 B CN117726627 B CN 117726627B CN 202410179211 A CN202410179211 A CN 202410179211A CN 117726627 B CN117726627 B CN 117726627B
- Authority
- CN
- China
- Prior art keywords
- image
- surface defect
- defect detection
- knowledge
- chip
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000007547 defect Effects 0.000 title claims abstract description 483
- 238000001514 detection method Methods 0.000 title claims abstract description 342
- 238000004377 microelectronic Methods 0.000 claims abstract description 139
- 238000012549 training Methods 0.000 claims description 203
- 230000014509 gene expression Effects 0.000 claims description 135
- 230000000007 visual effect Effects 0.000 claims description 71
- 238000000034 method Methods 0.000 claims description 69
- 238000005065 mining Methods 0.000 claims description 54
- 238000000605 extraction Methods 0.000 claims description 52
- 238000012545 processing Methods 0.000 claims description 48
- 238000005457 optimization Methods 0.000 claims description 26
- 238000009826 distribution Methods 0.000 claims description 24
- 230000008021 deposition Effects 0.000 claims description 13
- 238000004590 computer program Methods 0.000 claims description 10
- 238000007689 inspection Methods 0.000 claims description 5
- 238000004891 communication Methods 0.000 claims description 3
- 238000004519 manufacturing process Methods 0.000 abstract description 66
- 238000013136 deep learning model Methods 0.000 abstract description 7
- 230000007246 mechanism Effects 0.000 abstract description 5
- 238000012937 correction Methods 0.000 abstract description 3
- 238000004422 calculation algorithm Methods 0.000 description 48
- 230000008569 process Effects 0.000 description 27
- 238000004458 analytical method Methods 0.000 description 26
- 238000013527 convolutional neural network Methods 0.000 description 26
- 230000002159 abnormal effect Effects 0.000 description 23
- 239000000284 extract Substances 0.000 description 15
- 238000003066 decision tree Methods 0.000 description 14
- 238000013528 artificial neural network Methods 0.000 description 13
- 230000006870 function Effects 0.000 description 10
- 238000011176 pooling Methods 0.000 description 9
- 238000013461 design Methods 0.000 description 8
- 238000002372 labelling Methods 0.000 description 8
- 238000013135 deep learning Methods 0.000 description 6
- 230000002950 deficient Effects 0.000 description 6
- 238000010606 normalization Methods 0.000 description 6
- 235000019587 texture Nutrition 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 5
- 238000010801 machine learning Methods 0.000 description 5
- 238000007781 pre-processing Methods 0.000 description 5
- 230000009286 beneficial effect Effects 0.000 description 3
- 230000033228 biological regulation Effects 0.000 description 3
- 238000009472 formulation Methods 0.000 description 3
- 239000000203 mixture Substances 0.000 description 3
- 238000003062 neural network model Methods 0.000 description 3
- 230000005856 abnormality Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 235000019580 granularity Nutrition 0.000 description 2
- 239000002923 metal particle Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012805 post-processing Methods 0.000 description 2
- 238000007670 refining Methods 0.000 description 2
- 230000001105 regulatory effect Effects 0.000 description 2
- 238000003860 storage Methods 0.000 description 2
- 230000001629 suppression Effects 0.000 description 2
- 238000012800 visualization Methods 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 1
- 206010063385 Intellectualisation Diseases 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000008033 biological extinction Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 239000000428 dust Substances 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 238000013100 final test Methods 0.000 description 1
- 238000010438 heat treatment Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000012417 linear regression Methods 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 238000003908 quality control method Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Abstract
本申请实施例提供的芯片表面缺陷检测方法及设备，通过自动化的方式，大幅减少了人工检测的时间和成本，极大地提高了生产效率。与传统的手动或半自动化检测相比，该技术方案利用深度学习模型进行缺陷检测，能够更准确地识别和定位微电子芯片表面的缺陷，从而提高产品质量。通过反馈修正机制，可以不断优化和调整模型参数，使得模型在面对新的、未知的缺陷类型时也能有良好的适应性和鲁棒性。
Description
技术领域
本申请涉及人工智能技术领域，具体而言，涉及一种芯片表面缺陷检测方法及设备。
背景技术
微电子芯片是许多电子设备中的关键组成部分，它们的质量直接影响到设备的性能。因此，检测微电子芯片的表面缺陷以保证其质量非常重要。然而，传统的手动或半自动化检测方法通常耗时较长，效率低下，并且可能受到人为因素的影响，导致检测结果的不准确。
近年来，深度学习作为一种强大的机器学习技术，在图像识别和处理等领域取得了显著的成功。因此，人们开始尝试利用深度学习模型来进行微电子芯片的表面缺陷检测。然而，如何设计一个有效的深度学习模型，能够准确地识别和定位微电子芯片表面的各种复杂缺陷，仍然是一个具有挑战性的问题。
发明内容
为了改善上述问题，本申请提供了一种芯片表面缺陷检测方法及设备。
第一方面，提供一种芯片表面缺陷检测方法，应用于AI检测服务设备，所述方法包括：
获取微电子芯片显微扫描图像训练样例和所述微电子芯片显微扫描图像训练样例的先验表面缺陷认证知识，所述先验表面缺陷认证知识用于反映所述微电子芯片显微扫描图像训练样例的目标表面缺陷；
通过表面缺陷检测网络中的图像描述表达挖掘分支对所述微电子芯片显微扫描图像训练样例进行图像描述表达挖掘处理，得到所述微电子芯片显微扫描图像训练样例的图像描述表达序列，所述图像描述表达序列中的图像描述表达与所述微电子芯片显微扫描图像训练样例的图像细节的视觉输出变量具有一对一匹配关系；
通过所述表面缺陷检测网络中的缺陷检测分支对所述图像描述表达序列进行表面缺陷检测处理，得到表面缺陷检测训练结果，所述缺陷检测分支用于捕捉所述微电子芯片显微扫描图像训练样例中的各个所述表面缺陷检测训练结果的第一缺陷区域和第二缺陷区域，所述表面缺陷检测训练结果存在最少两个，所述表面缺陷检测训练结果是依据所述表面缺陷检测网络的单次处理所得的；
依据所述先验表面缺陷认证知识与所述表面缺陷检测训练结果之间的区别，对所述表面缺陷检测网络进行调校。
在一些方案中，所述缺陷检测分支包括顶层缺陷检测分支和底层缺陷检测分支；所述通过所述表面缺陷检测网络中的缺陷检测分支对所述图像描述表达序列进行表面缺陷检测处理，得到表面缺陷检测训练结果，包括：
通过所述顶层缺陷检测分支对所述图像描述表达序列进行第一检测处理，得到所述图像描述表达序列中的顶层图像描述表达，所述顶层图像描述表达是与各个所述表面缺陷检测训练结果的第一缺陷区域对应的图像描述表达；
通过所述底层缺陷检测分支对所述图像描述表达序列进行第二检测处理，得到所述图像描述表达序列中的底层图像描述表达，所述底层图像描述表达是与各个所述表面缺陷检测训练结果的第二缺陷区域对应的图像描述表达；
依据所述顶层图像描述表达和所述底层图像描述表达确定所述表面缺陷检测训练结果。
在一些方案中，所述依据所述顶层图像描述表达和所述底层图像描述表达确定所述表面缺陷检测训练结果，包括：
确定位于第u个顶层图像描述表达之下的v个底层图像描述表达，所述u，v为正整数；
基于所述第u个顶层图像描述表达和所述v个底层图像描述表达之间的视觉输出变量得到所述表面缺陷检测训练结果。
在一些方案中，所述微电子芯片显微扫描图像训练样例包括微电子芯片显微扫描图像索引和图像细节；所述图像描述表达挖掘分支包括图像知识提炼组件和图像知识优化组件；
则所述通过所述表面缺陷检测网络中的图像描述表达挖掘分支对所述微电子芯片显微扫描图像训练样例进行图像描述表达挖掘处理，得到所述微电子芯片显微扫描图像训练样例的图像描述表达序列，包括：
获取设定检测任务特征；
基于所述设定检测任务特征、所述微电子芯片显微扫描图像索引和所述图像细节，得到芯片表面缺陷检测输入三元组；
通过所述表面缺陷检测网络中的所述图像知识提炼组件对所述芯片表面缺陷检测输入三元组进行图像知识提炼操作，得到所述微电子芯片显微扫描图像训练样例的图像知识变量集；
通过所述表面缺陷检测网络中的所述图像知识优化组件对所述图像知识变量集进行图像知识优化操作，得到所述微电子芯片显微扫描图像训练样例的所述图像描述表达序列。
在一些方案中，所述图像知识变量集包括视觉线性变量和热力线性变量，所述视觉线性变量用于反映所述微电子芯片显微扫描图像训练样例中的视觉输出变量，所述热力线性变量用于反映所述微电子芯片显微扫描图像训练样例中视觉输出变量的热力值；所述图像知识提炼组件包括热力图像知识提炼组件和视觉输出变量提炼组件；
则所述通过所述表面缺陷检测网络中的所述图像知识提炼组件对所述芯片表面缺陷检测输入三元组进行图像知识提炼操作，得到所述微电子芯片显微扫描图像训练样例的图像知识变量集，包括：
通过所述表面缺陷检测网络中的所述热力图像知识提炼组件对所述芯片表面缺陷检测输入三元组进行热力图像知识提炼操作，得到所述热力线性变量；
通过所述表面缺陷检测网络中的所述视觉输出变量提炼组件对所述芯片表面缺陷检测输入三元组进行视觉输出变量图像知识提炼操作，得到所述视觉线性变量。
在一些方案中，所述图像知识变量集还包括区域线性变量；所述图像知识提炼组件还包括区域图像特征挖掘核；
则所述通过所述表面缺陷检测网络中的所述图像描述表达挖掘分支对所述芯片表面缺陷检测输入三元组进行图像描述表达挖掘处理，得到所述微电子芯片显微扫描图像训练样例的图像知识变量集，包括：
为所述芯片表面缺陷检测输入三元组中的所述设定检测任务特征配置第一特征指数；
为所述芯片表面缺陷检测输入三元组中的所述微电子芯片显微扫描图像索引配置第二特征指数；
为所述芯片表面缺陷检测输入三元组中的所述图像细节配置第三特征指数；
其中，所述第一特征指数、所述第二特征指数和所述第三特征指数是不同的指数；
通过所述表面缺陷检测网络中的所述区域图像特征挖掘核对所述芯片表面缺陷检测输入三元组进行图像知识提炼操作，得到所述区域线性变量。
在一些方案中，所述图像知识变量集还包括分布线性变量，所述分布线性变量用于反映所述微电子芯片显微扫描图像训练样例中的视觉输出变量所对应的分布标签；
则所述通过所述表面缺陷检测网络中的所述图像知识提炼组件对所述芯片表面缺陷检测输入三元组进行图像知识提炼操作，得到所述微电子芯片显微扫描图像训练样例的图像知识变量集，包括：
通过所述表面缺陷检测网络中的视觉输出变量提炼组件对所述芯片表面缺陷检测输入三元组进行视觉输出变量图像知识提炼操作，得到所述分布线性变量。
在一些方案中，所述依据所述先验表面缺陷认证知识与所述表面缺陷检测训练结果之间的区别，对所述表面缺陷检测网络进行调校，包括：
依据所述先验表面缺陷认证知识与所述表面缺陷检测训练结果之间的最少两个区别，对所述表面缺陷检测网络进行调校，所述最少两个区别包括关键比对结果和边缘比对结果，所述关键比对结果用于反映所述表面缺陷检测训练结果的训练质量评分，所述边缘比对结果用于改进所述关键比对结果。
在一些方案中，所述边缘比对结果包括第一边缘比对结果，所述第一边缘比对结果用于反映所述表面缺陷检测训练结果的表面缺陷形状的训练质量评分；
则所述先验表面缺陷认证知识包括第一先验认证知识和第二先验认证知识，所述第一先验认证知识用于反映所述微电子芯片显微扫描图像训练样例的所述目标表面缺陷，所述第二先验认证知识用于反映所述微电子芯片显微扫描图像训练样例的表面缺陷；
所述依据所述先验表面缺陷认证知识与所述表面缺陷检测训练结果之间的最少两个区别，对所述表面缺陷检测网络进行调校，包括：
依据所述表面缺陷检测训练结果与所述第二先验认证知识得到所述第一边缘比对结果；
依据所述表面缺陷检测训练结果与所述第一先验认证知识得到所述关键比对结果；
依据所述第一边缘比对结果与所述关键比对结果，对所述表面缺陷检测网络进行调校。
在一些方案中，所述边缘比对结果包括第二边缘比对结果，所述第二边缘比对结果用于反映所述表面缺陷检测训练结果；所述先验表面缺陷认证知识还包括第三先验认证知识，所述第三先验认证知识用于反映所述微电子芯片显微扫描图像训练样例的目标表面缺陷是否存在；
则所述依据所述先验表面缺陷认证知识与所述表面缺陷检测训练结果之间的最少两个区别，对所述表面缺陷检测网络进行调校，包括：
依据所述表面缺陷检测训练结果与所述第三先验认证知识得到所述第二边缘比对结果；
依据所述表面缺陷检测训练结果与第一先验认证知识得到所述关键比对结果；
依据所述第二边缘比对结果与所述关键比对结果，对所述表面缺陷检测网络进行调校。
在一些方案中，所述方法还包括：
获取待处理微电子芯片显微扫描图像；
通过所述表面缺陷检测网络对所述待处理微电子芯片显微扫描图像进行表面缺陷检测处理，得到所述待处理微电子芯片显微扫描图像中的最少两个表面沉积缺陷；
依据所述最少两个表面沉积缺陷对所述待处理微电子芯片显微扫描图像进行缺陷标注。
第二方面，提供一种AI检测服务设备，包括互相之间通信的处理器和存储器，所述处理器用于从所述存储器中调取计算机程序，并通过运行所述计算机程序实现第一方面所述的方法。
第三方面，提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序在运行时实现第一方面所述的方法。
本申请实施例所提供的芯片表面缺陷检测方法及设备，首先，系统利用图像描述表达挖掘分支从显微扫描图像中提取出有意义的特征，并形成与图像细节一一匹配的图像描述表达序列。然后，缺陷检测分支接收到这些图像描述表达，进行详细的表面缺陷检测，并输出检测结果，包括至少两个区域：第一缺陷区域和第二缺陷区域。最后，系统会比较先验表面缺陷认证知识和表面缺陷检测训练结果之间的差异，依据差异对表面缺陷检测网络进行调校，以优化模型性能。如此设计，通过自动化的方式，大幅减少了人工检测的时间和成本，极大地提高了生产效率。与传统的手动或半自动化检测相比，该技术方案利用深度学习模型进行缺陷检测，能够更准确地识别和定位微电子芯片表面的缺陷，从而提高产品质量。通过反馈修正机制，可以不断优化和调整模型参数，使得模型在面对新的、未知的缺陷类型时也能有良好的适应性和鲁棒性。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本申请实施例所提供的一种芯片表面缺陷检测方法的流程图。
具体实施方式
为了更好的理解上述技术方案，下面通过附图以及具体实施例对本申请技术方案做详细的说明，应当理解本申请实施例以及实施例中的具体特征是对本申请技术方案的详细的说明，而不是对本申请技术方案的限定，在不冲突的情况下，本申请实施例以及实施例中的技术特征可以相互组合。
图1示出一种芯片表面缺陷检测方法，应用于AI检测服务设备（系统），所述方法包括以下步骤110-步骤140。
步骤110、获取微电子芯片显微扫描图像训练样例和所述微电子芯片显微扫描图像训练样例的先验表面缺陷认证知识，所述先验表面缺陷认证知识用于反映所述微电子芯片显微扫描图像训练样例的目标表面缺陷。
步骤120、通过所述表面缺陷检测网络中的图像描述表达挖掘分支对所述微电子芯片显微扫描图像训练样例进行图像描述表达挖掘处理，得到所述微电子芯片显微扫描图像训练样例的图像描述表达序列，所述图像描述表达序列中的图像描述表达与所述微电子芯片显微扫描图像训练样例的图像细节的视觉输出变量具有一对一匹配关系。
步骤130、通过所述表面缺陷检测网络中的缺陷检测分支对所述图像描述表达序列进行表面缺陷检测处理，得到表面缺陷检测训练结果，所述缺陷检测分支用于捕捉所述微电子芯片显微扫描图像训练样例中的各个所述表面缺陷检测训练结果的第一缺陷区域和第二缺陷区域，所述表面缺陷检测训练结果存在最少两个，所述表面缺陷检测训练结果是依据所述表面缺陷检测网络的单次处理所得的。
步骤140、依据所述先验表面缺陷认证知识与所述表面缺陷检测训练结果之间的区别，对所述表面缺陷检测网络进行调校。
在步骤110中，微电子芯片显微扫描图像训练样例是指使用显微扫描设备（如电子显微镜）获取的微电子芯片表面图像。这些图像作为训练样例，用于训练AI模型。先验表面缺陷认证知识（先验训练注释）是指基于专家知识或者历史数据标注的芯片表面缺陷信息。这些信息可以是缺陷的类型、位置、大小等，通常以标签或注释的形式存在。它们提供了“正确答案”，帮助AI模型在训练过程中学习和理解什么是缺陷，以及缺陷看起来如何。目标表面缺陷是指希望AI模型能够检测出来的芯片表面缺陷。例如，可能特别关注那些会导致芯片性能严重下降的缺陷。通过明确目标缺陷，可以优化AI模型的训练，使其更加关注于这些重要的缺陷。
在步骤120中，表面缺陷检测网络是指一个人工智能网络模型（也即AI模型），设计用来检测微电子芯片表面的缺陷。这个网络可以包含多个分支或层级，每个分支负责处理特定的任务。图像描述表达挖掘分支是表面缺陷检测网络中的一个部分，主要负责从输入的图像中提取和生成描述性的信息或特征，也就是进行“图像描述表达挖掘处理”。图像描述表达挖掘处理是一种处理过程，通过该过程，AI模型可以从原始的图像数据中提取出有用的信息或特征。这些信息或特征被称为“图像描述表达”。图像描述表达序列（图像特征序列）是指一系列的图像描述表达，它们以某种顺序排列，代表了图像的重要信息或特征。图像细节是指图像中的具体内容，例如物体的形状、颜色、纹理等。在此场景下，图像细节可能包括芯片表面的线路、颗粒、裂纹等。视觉输出变量是指AI模型处理图像后生成的输出结果。在此场景下，视觉输出变量可以是关于芯片表面缺陷的信息，例如缺陷的位置、大小、类型等。
进一步地，图像描述表达是AI模型从原始图像中提取的信息或特征。例如，在一个256x256像素的灰度图像中，可能会使用一种名为“直方图均衡化”的方法来提取特征。该方法可以生成一个长度为256的向量，其中每个元素代表图像中对应亮度值的像素数量。这个向量就是一个图像描述表达，它以更简洁的方式描绘了图像的亮度分布。图像细节是指图像中具体的内容。例如，如果在观察一块芯片的显微镜图像，图像细节可能包括芯片上的电路线（如其颜色、粗细和走向）、金属颗粒（如其形状和大小）等。另外，如果存在任何划痕、裂纹或其他缺陷，这些也会成为图像细节的一部分。视觉输出变量是AI模型处理图像后生成的结果。假设AI模型被训练用于检测芯片表面的裂纹。在处理一张芯片图像后，模型可能会输出一个坐标列表，表示在图像中发现裂纹的位置。例如，输出可以是[（50，60），（150，200）]，这表示在（50，60）和（150，200）的位置发现了裂纹。此外，模型可能还会输出每个裂纹的长度和宽度等其他信息。
在步骤130中，缺陷检测分支是表面缺陷检测网络中的一个部分，主要负责对图像描述表达序列进行处理，以检测和定位芯片表面的缺陷。表面缺陷检测训练结果是缺陷检测分支处理图像描述表达序列后得到的输出结果。在此场景下，它可能包括每个检测到的缺陷的位置、类型、大小等信息。第一缺陷区域（缺陷起始区域）是指在图像中被检测出的缺陷的开始部分。例如，如果一个裂纹从图像的（50，60）位置开始，那么（50，60）就是第一缺陷区域。第二缺陷区域（缺陷终止区域）是指在图像中被检测出的缺陷的结束部分。例如，如果一个裂纹在图像的（150，200）位置结束，那么（150，200）就是第二缺陷区域。
在步骤140中，区别（训练误差）是指AI模型预测结果与真实结果之间的差异。在此场景下，先验表面缺陷认证知识代表了真实的缺陷信息，而表面缺陷检测训练结果则是AI模型的预测结果。二者之间的差异就是训练误差。这个误差可能包括但不限于预测缺陷位置的准确性、缺陷类型的正确性等。调校是一种优化过程，目的是通过调整AI模型的参数来最小化训练误差，从而提高模型的预测准确度。在机器学习中，常用的调校方法包括梯度下降、随机梯度下降等。
在另一些具体的应用场景中，可以使用卷积神经网络（Convolutional NeuralNetwork，CNN）作为表面缺陷检测网络的一个示例。CNN被广泛用于图像处理任务，因为它能有效地从图像中提取特征。在卷积神经网络中，可以包括多个卷积层、池化层和全连接层。卷积层可以帮助从图像中提取局部特征，池化层则有助于减小计算量并防止过拟合，全连接层最后用于整合所有特征进行分类或者回归任务。
接下来是图像描述表达挖掘分支，这个分支主要通过卷积层和池化层完成工作。举个例子，第一个卷积层可以使用一些小的滤波器（例如3x3大小）来对输入图像进行卷积操作，得到一系列新的特征图（feature maps）。这些特征图能够捕捉到图像中的一些基本特征，如边缘、线条和颜色等。然后，池化层对这些特征图进行降采样，以减小计算量并增强特征的鲁棒性。这个过程可以在多个卷积层和池化层中反复进行，以得到越来越高级的图像特征。
然后，是缺陷检测分支，这个分支可以使用一种称为区域卷积神经网络（RegionConvolutional Neural Network，R-CNN）的模型。首先，该模型会生成大量的候选区域，然后对每一个候选区域进行分类和边框回归。分类操作判断候选区域是否包含目标缺陷，而边框回归则尝试更精确地定位缺陷的位置。具体实现时，可能会使用全连接层或者其他类型的网络结构（如SVM或者Softmax）来进行分类操作，同时使用回归模型（如线性回归或者SVR）来完成边框回归。通过这种方式，可以获取到每一个表面缺陷的位置和类别信息。
可见，通过上述方法，微电子芯片显微扫描图像的表面缺陷检测网络能够有效地从原始图像中提取出有用的特征，并利用这些特征来进行缺陷检测。这种方法不仅可以提高缺陷检测的准确性，也能显著提高处理速度。
在一些完整的实施例中，例如正在制造微电子芯片，并且希望检测和修复任何可能存在的表面缺陷。
首先，从生产线上收集一些微电子芯片显微扫描图像样本。这些样本包括有缺陷和无缺陷的芯片。同时，也收集了对应的先验表面缺陷认证知识，即专家或已有的质量控制系统标注的缺陷信息。
接下来，使用表面缺陷检测网络中的图像描述表达挖掘分支处理这些训练样例。该分支能够生成一系列描述芯片表面特征的图像描述表达，比如边缘、纹理等特征。每个图像描述表达与训练样例的图像细节具有一对一匹配关系，以便后续准确定位缺陷。
之后，缺陷检测分支会接收到图像描述表达序列，并进行表面缺陷检测处理。这一步会输出表面缺陷检测训练结果，包含所有被检测到的缺陷区域（至少两个，包括缺陷起始区域和终止区域）。
例如，假设表面缺陷检测网络在一个样例图像上找到了两个缺陷，第一个缺陷从（50，60）开始至（70，80）结束，第二个缺陷从（150，200）开始至（170，220）结束。这就是表面缺陷检测训练结果。
最后，会比较先验表面缺陷认证知识与表面缺陷检测训练结果之间的区别，即训练误差。如果存在误差，将调整表面缺陷检测网络的参数进行优化，以便更准确地识别和定位芯片表面的缺陷。
例如，如果先验表面缺陷认证知识指出第一个缺陷实际上从（52，62）开始至（68，78）结束，而第二个缺陷从（152，202）开始至（168，218）结束，就需要根据这个误差来调校网络，使其预测结果更接近真实值。
经过多次迭代训练和调校，最终可以得到一个能够准确识别和定位微电子芯片表面缺陷的AI模型。
上述技术方案主要用于检测微电子芯片的表面缺陷，其核心是通过深度学习模型来自动化识别和定位缺陷。它将大量的显微扫描图像训练样例和相应的先验表面缺陷认证知识（例如由人工专家标注的缺陷信息）作为输入，利用神经网络对这些数据进行学习和处理。
首先，系统利用图像描述表达挖掘分支从显微扫描图像中提取出有意义的特征，并形成与图像细节一一匹配的图像描述表达序列。然后，缺陷检测分支接收到这些图像描述表达，进行详细的表面缺陷检测，并输出检测结果，包括至少两个区域：第一缺陷区域和第二缺陷区域。
最后，系统会比较先验表面缺陷认证知识和表面缺陷检测训练结果之间的差异，依据差异对表面缺陷检测网络进行调校，以优化模型性能。
如此设计，通过自动化的方式，大幅减少了人工检测的时间和成本，极大地提高了生产效率。与传统的手动或半自动化检测相比，该技术方案利用深度学习模型进行缺陷检测，能够更准确地识别和定位微电子芯片表面的缺陷，从而提高产品质量。通过反馈修正机制，可以不断优化和调整模型参数，使得模型在面对新的、未知的缺陷类型时也能有良好的适应性和鲁棒性。
在一些可选的实施例中，所述缺陷检测分支包括顶层缺陷检测分支和底层缺陷检测分支，则通过所述表面缺陷检测网络中的缺陷检测分支对所述图像描述表达序列进行表面缺陷检测处理，得到表面缺陷检测训练结果，也即步骤130，包括步骤131-步骤133。
步骤131、通过所述顶层缺陷检测分支对所述图像描述表达序列进行第一检测处理，得到所述图像描述表达序列中的顶层图像描述表达，所述顶层图像描述表达是与各个所述表面缺陷检测训练结果的第一缺陷区域对应的图像描述表达。
步骤132、通过所述底层缺陷检测分支对所述图像描述表达序列进行第二检测处理，得到所述图像描述表达序列中的底层图像描述表达，所述底层图像描述表达是与各个所述表面缺陷检测训练结果的第二缺陷区域对应的图像描述表达。
步骤133、依据所述顶层图像描述表达和所述底层图像描述表达确定所述表面缺陷检测训练结果。
在此技术方案中，缺陷检测分支进一步细分为顶层缺陷检测分支和底层缺陷检测分支。这两个分支可以理解为对微电子芯片显微扫描图像进行不同深度、粒度的分析，从而更全面地检测和定位表面缺陷。
举例来说，有一张微电子芯片的显微扫描图像，并且已经通过图像描述表达挖掘分支得到了图像描述表达序列。接下来，将使用顶层缺陷检测分支和底层缺陷检测分支对这个序列进行处理。
在步骤131中，顶层缺陷检测分支首先对图像描述表达序列进行第一次检测处理，找出可能的大范围、宽泛的缺陷区域，这些区域通常包括了多个小的缺陷点。比如，顶层缺陷检测分支可能检测出一块大约10x10毫米的区域存在潜在的缺陷。
在步骤132中，接着，底层缺陷检测分支会对图像描述表达序列进行第二次检测处理，更细致地定位具体的缺陷位置，通常是在顶层检测分支识别出的大范围区域内进行精确的定位。例如，底层缺陷检测分支可能会在顶层分支检测到的10x10毫米区域内，找到一个2x2毫米的精确缺陷位置。
在步骤133中，最后，根据顶层图像描述表达和底层图像描述表达确定最终的表面缺陷检测训练结果。这一步将顶层和底层的检测结果结合起来，形成一个完整的、多层次的缺陷检测报告。
如此设计，引入了顶层和底层的缺陷检测机制，使得系统可以从不同深度和粒度去理解和检测微电子芯片表面的缺陷。这种多级别的处理方式提供了更全面和精确的缺陷检测结果，尤其是在处理复杂和混合类型缺陷的场景下具有优势。此外，该方法也有助于提升网络的适应性和稳健性，能够有效应对各种复杂和变化的实际工况，从而进一步提升产品质量和生产效率。
在另一些具体的应用场景中，可以将顶层缺陷检测分支和底层缺陷检测分支理解为一个多级的、分层的检测系统。
对于顶层缺陷检测分支，可以采用一种称为“Region Proposal Network”（RPN）的模型。这是一种用于目标检测的神经网络结构，其主要任务是从图像中生成可能存在目标（在本例中是表面缺陷）的区域提议。具体来说，RPN会利用滑动窗口在输入的图像描述表达序列上扫描，并使用卷积运算来计算窗口内的特征。然后，根据这些特征，RPN预测窗口内是否存在目标以及目标的大致位置和大小。最后，RPN输出一系列的候选区域，每个区域都包含一个得分，表示该区域内存在目标的概率。这样就完成了顶层的宽泛缺陷检测。
然后，进入底层缺陷检测分支。在这里，可以采用更复杂、更精细的模型，例如Faster R-CNN或者Mask R-CNN等。这些模型通常包括两部分：一部分是用于分类的神经网络，另一部分是用于定位的回归模型。分类网络负责判断每个由顶层分支生成的候选区域是否真正包含目标，而回归模型则会尝试精确地预测目标的位置和大小。这样，就能够在顶层检测出的大范围内，找到具体的缺陷位置。
最后，在步骤133中，可以使用一种称为“非极大值抑制”（Non-MaximumSuppression，NMS）的方法来整合顶层和底层的检测结果。NMS是一种常用的后处理步骤，它能够从众多重叠的候选区域中选出最终的检测结果。具体来说，NMS首先将所有候选区域按照得分排序，然后选出得分最高的区域，并删除与其重叠度过高的其他区域。重复这个过程，直到所有区域都被处理完毕。这样，就得到了最终的、整合了多级别信息的缺陷检测结果。
以上就是对顶层缺陷检测分支和底层缺陷检测分支的详细介绍，这种多级别、分层的设计方式使得系统可以更全面、更精准地检测和定位微电子芯片表面的缺陷。
在一些优选的实施例中，步骤133中的依据所述顶层图像描述表达和所述底层图像描述表达确定所述表面缺陷检测训练结果，包括步骤1331-步骤1332。
步骤1331、确定位于第u个顶层图像描述表达之下的v个底层图像描述表达，所述u，v为正整数。
步骤1332、基于所述第u个顶层图像描述表达和所述v个底层图像描述表达之间的视觉输出变量得到所述表面缺陷检测训练结果。
在这个技术方案中，进一步明确了如何从顶层图像描述表达和底层图像描述表达中确定表面缺陷检测训练结果。这涉及到两个新的概念：第u个顶层图像描述表达和位于其下的v个底层图像描述表达。这里的u和v都是正整数，表示特定的顶层描述和相应的底层描述的索引值。
在前述的示例中，顶层缺陷检测分支识别出了三个（u=3）大范围的潜在缺陷区域，并且对应地，底层缺陷检测分支在每个顶层缺陷区域内都识别出了五个（v=5）精确的缺陷位置。
在步骤1331中，首先，需要确定每一个顶层图像描述表达下的底层图像描述表达。比如，对于第一个顶层图像描述表达，找到了五个具体的底层图像描述表达，它们精确地标记了缺陷的位置。
在步骤1332中，然后，根据这些顶层和底层的图像描述表达之间的视觉输出变量（例如，底层描述的空间位置是否确实在顶层描述的范围内，底层描述的缺陷类型和大小是否与顶层描述匹配等）来确定最终的表面缺陷检测训练结果。这一步可以视为一个决策或分类过程，根据各级别描述之间的关系来确定是否真正存在缺陷，并确定其具体属性。
如此，使得可以更精细地控制和理解模型的决策过程。通过明确地建立起顶层和底层描述之间的联系，提供了一种有效的方式来分析和解释模型的输出结果，有助于理解模型在识别和定位缺陷时的行为和决策逻辑。这不仅有助于对模型进行调试和优化，也为向用户解释模型结果提供了便利，从而提高了系统的可用性和用户体验。
在一些可能的设计思路下，所述微电子芯片显微扫描图像训练样例包括微电子芯片显微扫描图像索引和图像细节；所述图像描述表达挖掘分支包括图像知识提炼组件和图像知识优化组件。则通过所述表面缺陷检测网络中的图像描述表达挖掘分支对所述微电子芯片显微扫描图像训练样例进行图像描述表达挖掘处理，得到所述微电子芯片显微扫描图像训练样例的图像描述表达序列，也即步骤120，包括步骤121-步骤124。
步骤121、获取设定检测任务特征。
步骤122、基于所述设定检测任务特征、所述微电子芯片显微扫描图像索引和所述图像细节，得到芯片表面缺陷检测输入三元组。
步骤123、通过所述表面缺陷检测网络中的所述图像知识提炼组件对所述芯片表面缺陷检测输入三元组进行图像知识提炼操作，得到所述微电子芯片显微扫描图像训练样例的图像知识变量集。
步骤124、通过所述表面缺陷检测网络中的所述图像知识优化组件对所述图像知识变量集进行图像知识优化操作，得到所述微电子芯片显微扫描图像训练样例的所述图像描述表达序列。
在这个技术方案中，会对微电子芯片显微扫描图像训练样例进行更深入的处理。首先，需要解释两个新的概念：“图像知识提炼组件”和“图像知识优化组件”。
图像知识提炼组件是一种用于从输入数据（如图像）中提取有用信息或特征的模块。它可能包括一系列预处理步骤，以及使用机器学习算法来识别和提取关键特征。图像知识优化组件是一种用于改进、优化已提取特征的模块。它可能包括降噪、归一化、特征选择等步骤，以便得到最佳的特征表示。
首先，获取设定检测任务特征。这可能包括希望检测的缺陷类型、大小范围等信息。然后，根据这些设定的检测任务特征、微电子芯片显微扫描图像索引和图像细节，构建出一个芯片表面缺陷检测输入三元组。这个三元组可能包含图像本身、目标缺陷的特征和该图像的索引等信息。接着，使用图像知识提炼组件对这个输入三元组进行处理，得到一组图像知识变量。这些变量可能包括从图像中提取出的各种特征，如颜色、纹理、形状等。最后，利用图像知识优化组件对这些图像知识变量进行优化处理，得到优化后的图像描述表达序列。这些序列能更准确、有效地表示图像中的信息，有助于后续的缺陷检测任务。
在另一些可能的示例中，将通过一些公式来进行解释：例如有一个微电子芯片显微扫描图像的集合，表示为I={I_1，I_2，...，I_n}。其中，每个图像I_i都包含一个索引和一些图像细节。
步骤121涉及获取设定检测任务特征F。步骤122涉及基于所述设定检测任务特征F、所述微电子芯片显微扫描图像索引和所述图像细节，构造芯片表面缺陷检测输入三元组T=（F，Index（I_i），Detail（I_i）），其中Index（I_i）是图像I_i的索引，Detail（I_i）是图像I_i的细节。步骤123涉及通过图像知识提炼组件对输入三元组T进行处理，得到图像知识变量集V。这可以表示为V=Extract（T），其中Extract是图像知识提炼组件的函数。步骤124涉及然后通过图像知识优化组件对图像知识变量集V进行处理，得到图像描述表达序列S。这可以表示为S=Optimize（V），其中Optimize是图像知识优化组件的函数。
因此，整个过程可以表示为以下公式：S=Optimize（Extract（（F，Index（I_i），Detail（I_i））））。
上述公式表明了这个技术方案的主要步骤，即首先获取设定检测任务特征和图像信息，然后通过图像知识提炼组件和图像知识优化组件得到图像描述表达序列。这个过程有效地提取和优化了图像信息，有助于提高芯片表面缺陷检测的准确性。
可见，通过分步骤进行图像知识的提炼和优化，使得最后得到的图像描述表达序列具有更好的性能。特别是在复杂的微电子芯片显微扫描图像中，有效地提取和优化关键信息，有助于提高缺陷检测的准确性和效率，同时也可以为后续的模型训练和优化提供更高质量的数据。
在另一些具体的实施例中，对于图像知识提炼组件，类似地，可以采用卷积神经网络（Convolutional Neural Network，CNN）模型。CNN是一种特别适合处理图像数据的神经网络结构，能够自动从原始图像中学习并提取有效的特征。例如，早期的卷积层可能会学习检测边缘和颜色块等低级特征，而后续的卷积层则可能会学习更复杂、更抽象的特征，如形状和纹理等。可以将这个过程看作是一个“提炼”过程，即从大量原始数据中提取出最关键、最有用的信息。
对于图像知识优化组件，可以使用全连接层（Fully Connected Layer）和批标准化（Batch Normalization）等技术。全连接层通常被用于神经网络的最后几层，它能将前面各层提取的所有特征融合起来，形成一个全局的、整体的表示。批标准化则是一种常见的优化方法，通过对每一小批数据进行归一化操作，可以加快训练速度，提高模型性能，并且具有一定的正则化效果。
具体来说，CNN模型由L个卷积层组成，表示为{Conv_1，Conv_2，...，Conv_L}。那么，在图像知识提炼组件中，首先将输入图像I通过各个卷积层进行处理，得到一系列的特征图{F_1，F_2，...，F_L}，其中F_l=Conv_l（I）。然后，可以选择其中的一部分特征图，例如{F_p，F_q，...，F_r}，并将它们拼接起来，形成一个联合特征图F_combine。这就完成了图像知识提炼的过程。
在图像知识优化组件中，首先将F_combine通过全连接层进行处理，得到一个特征向量v。然后，将v通过批标准化进行处理，得到优化后的特征向量v_optimize。最后，可以将v_optimize作为图像描述表达序列S，即S=v_optimize。
所以，整个过程可以表示为以下公式：
F_combine=Concat（F_p，F_q，...，F_r）；
v=FullyConnected（F_combine）；
S=BatchNorm（v）。
以上就是对图像知识提炼组件和图像知识优化组件的详细介绍，这种设计使得系统可以更好地从原始图像中提取有效信息，并进行优化处理，有助于提高芯片表面缺陷检测的准确性。
在一些示例中，所述图像知识变量集包括视觉线性变量和热力线性变量，所述视觉线性变量用于反映所述微电子芯片显微扫描图像训练样例中的视觉输出变量，所述热力线性变量用于反映所述微电子芯片显微扫描图像训练样例中视觉输出变量的热力值；所述图像知识提炼组件包括热力图像知识提炼组件和视觉输出变量提炼组件。则步骤123中的通过所述表面缺陷检测网络中的所述图像知识提炼组件对所述芯片表面缺陷检测输入三元组进行图像知识提炼操作，得到所述微电子芯片显微扫描图像训练样例的图像知识变量集，包括步骤1231-步骤1232。
步骤1231、通过所述表面缺陷检测网络中的所述热力图像知识提炼组件对所述芯片表面缺陷检测输入三元组进行热力图像知识提炼操作，得到所述热力线性变量。
步骤1232、通过所述表面缺陷检测网络中的所述视觉输出变量提炼组件对所述芯片表面缺陷检测输入三元组进行视觉输出变量图像知识提炼操作，得到所述视觉线性变量。
在这个技术方案中，引入了新的概念：“视觉线性变量”，“热力线性变量”，"热力图像知识提炼组件"和"视觉输出变量提炼组件"。视觉线性变量是一种从图像中提取的特征，通常代表图像中可视化的某种属性，如颜色、纹理或形状等。热力线性变量也是一种从图像中提取的特征，通常用于表示图像中的热力值，例如在热成像扫描中，可以反映物体的温度分布。热力图像知识提炼组件是一种用于处理图像数据并提取热力线性变量的模块。它可能包括一系列算法和预处理步骤。视觉输出变量提炼组件是一种用于处理图像数据并提取视觉线性变量的模块。它可能包括一系列算法和预处理步骤。
接下来，详细介绍上述步骤：在步骤1231中，使用热力图像知识提炼组件对输入三元组进行处理，得到热力线性变量。这可能包括将图像转换为热图，然后从中提取有关温度分布的特征。在步骤1232中，使用视觉输出变量提炼组件对输入三元组进行处理，得到视觉线性变量。这可能包括使用各种图像处理算法（如边缘检测、色彩空间转换等）来提取图像中的视觉特征。
在另一些应用场景下，可以定义一些函数以及它们的作用：例如有一个函数H（），它是热力图像知识提炼组件，用于从输入三元组T中提取热力线性变量；同样，有另一个函数V（），它是视觉输出变量图像知识提炼组件，用于从输入三元组T中提取视觉线性变量。
在步骤1231中，热力线性变量=H（T），表示通过热力图像知识提炼组件对输入三元组进行处理，得到热力线性变量。
在步骤1232中，视觉线性变量=V（T），表示通过视觉输出变量图像知识提炼组件对输入三元组进行处理，得到视觉线性变量。
因此，图像知识变量集V'可以表示为V'={H（T），V（T）}，这个变量集包括了从输入三元组T提取出的热力和视觉特征。
举例来说，如果有一个输入三元组T=（F，Index（I_i），Detail（I_i）），其中F代表设定检测任务特征，Index（I_i）是图像I_i的索引，Detail（I_i）是图像I_i的细节。假设F=0.6，Index（I_i）=7，Detail（I_i）=[0.3，0.2，0.4]。
如果使用热力图像知识提炼组件H（），可能得到的热力线性变量是0.8。用公式表示就是H（T）=0.8。
如果使用视觉输出变量图像知识提炼组件V（），可能得到的视觉线性变量是[0.1，0.2，0.7]。用公式表示就是V（T）=[0.1，0.2，0.7]。
因此，图像知识变量集V'将会是{0.8，[0.1，0.2，0.7]}。
通过对微电子芯片显微扫描图像进行热力和视觉两个维度的知识提炼，能够获取更丰富、更全面的图像特征。这样不仅可以增强微电子芯片表面缺陷检测的准确性，还能提高其健壮性，使得检测模型能够适应更广泛的情况。例如，在一些特殊环境下，单纯的视觉特征可能无法有效识别缺陷，而热力特征可能会提供额外的有用信息。
在具体的神经网络模型和算法示例中，热力图像知识提炼组件和视觉输出变量提炼组件可以通过多种方式实现。
首先，来看热力图像知识提炼组件，同样可以使用卷积神经网络（CNN）来处理输入图像。CNN是一种专门处理具有网格结构的数据（如图像）的深度学习模型，适合于从图像中提取特征。对于热力线性变量的提取，可以将输入图像转换为热图，并将其作为CNN的输入。这个CNN可以由多个卷积层、池化层和全连接层组成，以捕获图像中的温度分布信息。卷积层可以识别出图像中的局部特征，池化层用于减少计算复杂性，而全连接层则用于整合这些特征并生成最终的热力线性变量。
接下来，来看视觉输出变量提炼组件，它同样也可以使用卷积神经网络来处理输入图像。然而，由于视觉线性变量代表的是图像中可视化的某种属性，例如颜色、纹理或形状等，所以可能需要使用更复杂的CNN结构，例如ResNet或Inception网络，以捕获这些更高级别的特征。例如，ResNet通过引入残差连接来解决深度网络中的梯度消失问题，使得可以训练出更深的网络；Inception网络则通过并行使用不同尺寸的卷积核，从而能够更好地捕获图像中的多尺度信息。
在具体的算法实现上，两个组件都可能会涉及到一些预处理步骤，如图像标准化（将像素值缩放到一定的范围内）、数据增强（通过翻转、旋转等方式增加数据量）等，以改善模型的泛化能力。同时，也可能需要使用适当的优化器（如Adam、SGD等）和损失函数（如交叉熵损失、均方误差损失等），以便于模型的训练。
在另一些示例中，所述图像知识变量集还包括区域线性变量；所述图像知识提炼组件还包括区域图像特征挖掘核。则通过所述表面缺陷检测网络中的所述图像描述表达挖掘分支对所述芯片表面缺陷检测输入三元组进行图像描述表达挖掘处理，得到所述微电子芯片显微扫描图像训练样例的图像知识变量集，包括：为所述芯片表面缺陷检测输入三元组中的所述设定检测任务特征配置第一特征指数；为所述芯片表面缺陷检测输入三元组中的所述微电子芯片显微扫描图像索引配置第二特征指数；为所述芯片表面缺陷检测输入三元组中的所述图像细节配置第三特征指数；其中，所述第一特征指数、所述第二特征指数和所述第三特征指数是不同的指数；通过所述表面缺陷检测网络中的所述区域图像特征挖掘核对所述芯片表面缺陷检测输入三元组进行图像知识提炼操作，得到所述区域线性变量。
在这个技术方案中，增加了新的变量和组件：区域线性变量以及区域图像特征挖掘核。区域线性变量用于描述微电子芯片显微扫描图像训练样例中的特定区域特性。区域图像特征挖掘核是一个功能模块，它可以从输入三元组提取出区域线性变量。
例如有一个函数R（），它是区域图像特征挖掘核，用于从输入三元组T中提取区域线性变量。
因此，图像知识变量集V'可以进一步扩展为V'={H（T），V（T），R（T）}，这个变量集包括了从输入三元组T提取出的热力、视觉和区域特征。
例如，如果使用区域图像特征挖掘核R（），可能得到的区域线性变量是[0.2，0.3]。用公式表示就是R（T）=[0.2，0.3]。
因此，图像知识变量集V'将会是{0.8，[0.1，0.2，0.7]，[0.2，0.3]}。
至于第一特征指数、第二特征指数和第三特征指数，它们可以理解为不同特性的权重，可以根据实际应用需要进行配置。
例如，设定检测任务特征F的第一特征指数是1.5，图像索引Index（I_i）的第二特征指数是0.7，图像细节Detail（I_i）的第三特征指数是1.2。这样就给每个特性分配了一个特定的权重，这些权重会影响到最后提取出的知识变量集。
综上，通过引入区域线性变量和对应的挖掘核，能够更好地捕捉和描述微电子芯片显微扫描图像中的局部信息，使得表面缺陷检测更加精确。同时，通过为输入三元组中的各个元素配置不同的特征指数，能够调整各元素在知识提炼过程中的重要性，进一步增强了模型的灵活性和适应性。
在另一些具体的示例中，区域图像特征挖掘核的主要任务是从输入图像中提取出局部或者区域性的特征，这样可以帮助更好地理解图像的内容和结构。以下面的神经网络模型和算法为例进行详细说明。
对于区域图像特征的提取，可能会使用到R-CNN（Region with ConvolutionalNeural Networks）及其变体，如Fast R-CNN和Faster R-CNN。这些模型在卷积神经网络的基础上引入了“区域提议”步骤，可以有效地检测出图像中的目标并提取其区域特征。具体来说，R-CNN首先利用选择性搜索（Selective Search）算法提取出大量可能包含目标的候选区域，然后对每个候选区域分别应用CNN进行特征提取；Fast R-CNN改进了R-CNN的结构，只需对整张图像执行一次卷积操作，然后在特征图上提取候选区域；Faster R-CNN则进一步引入了区域提议网络（Region Proposal Network, RPN），使得区域提议步骤也能通过神经网络来完成，提高了处理速度。
算法示例：对于区域线性变量的计算，可能会使用池化操作，如最大池化或平均池化。这些操作可以将每个候选区域的特征图转化为固定大小的特征向量，即所说的区域线性变量。此外，也可能会使用全连接层或者SVM等方法对这些特征进行分类或回归，从而得到目标的具体属性。总的来说，区域图像特征挖掘核是一种用于处理图像数据并提取区域线性变量的模块。它可能包括一系列预处理步骤、CNN模型以及后处理步骤，以实现对图像区域特征的有效提取和利用。
在一些示例中，所述图像知识变量集还包括分布线性变量，所述分布线性变量用于反映所述微电子芯片显微扫描图像训练样例中的视觉输出变量所对应的分布标签。则步骤123中的通过所述表面缺陷检测网络中的所述图像知识提炼组件对所述芯片表面缺陷检测输入三元组进行图像知识提炼操作，得到所述微电子芯片显微扫描图像训练样例的图像知识变量集，包括：通过所述表面缺陷检测网络中的视觉输出变量提炼组件对所述芯片表面缺陷检测输入三元组进行视觉输出变量图像知识提炼操作，得到所述分布线性变量。
在这个技术方案中，新增了分布线性变量。分布线性变量用于反映微电子芯片显微扫描图像训练样例中的视觉输出变量所对应的分布标签。分布标签可以理解为描述视觉输出变量在图像上分布情况的一种标记。
例如有一个函数D（），它是视觉输出变量提炼组件的一部分，用于从输入三元组T中提取分布线性变量。
因此，图像知识变量集V'可以进一步扩展为V'={H（T），V（T），R（T），D（T）}，这个变量集包括了从输入三元组T提取出的热力、视觉、区域和分布特征。
例如，如果使用视觉输出变量提炼组件的分布部分D（），可能得到的分布线性变量是0.5。用公式表示就是D（T）=0.5。
因此，图像知识变量集V'将会是{0.8，[0.1，0.2，0.7]，[0.2，0.3]，0.5}。
可见，通过引入分布线性变量，能够对视觉输出变量在图像中的分布情况进行定量化的描述，这样不仅可以增强模型对图像全局特性的理解，而且能够进一步提高微电子芯片表面缺陷检测的准确度。此外，通过对多种不同类型的特征进行提炼，得到了一个更全面、更具代表性的图像知识变量集，从而能够更好地满足不同类型的微电子芯片表面缺陷检测需求。
在一些设计思路下，步骤140中的依据所述先验表面缺陷认证知识与所述表面缺陷检测训练结果之间的区别，对所述表面缺陷检测网络进行调校，包括：依据所述先验表面缺陷认证知识与所述表面缺陷检测训练结果之间的最少两个区别，对所述表面缺陷检测网络进行调校，所述最少两个区别包括关键比对结果和边缘比对结果，所述关键比对结果用于反映所述表面缺陷检测训练结果的训练质量评分，所述边缘比对结果用于改进所述关键比对结果。
在这个技术方案中，新增了关键比对结果和边缘比对结果。关键比对结果用于反映表面缺陷检测训练结果的训练质量评分，边缘比对结果则用于改进关键比对结果。
例如，有一个先验表面缺陷认证知识K和一个表面缺陷检测训练结果R。可以通过比对这两者来找出差异。如果使用函数Q（）来获取关键比对结果，可能得到的关键比对结果是0.7。这意味着训练质量评分为0.7。用公式表示就是Q（K，R）=0.7。
同时，也可以使用函数E（）来获取边缘比对结果，可能得到的边缘比对结果是0.1。这意味着可以通过调整模型以减小这个值，从而提高训练质量评分。用公式表示就是E（K，R）=0.1。
因此，根据关键比对结果和边缘比对结果，可以对表面缺陷检测网络进行调校，使得训练质量评分达到最优。
可见，通过关键比对结果和边缘比对结果的引入，不仅可以直观地了解模型训练的质量，而且可以找出影响训练质量的关键因素，并进行相应的调整，从而提高表面缺陷检测网络的性能。这种基于比对结果的动态调校机制，使得模型具有更好的适应性和鲁棒性，能够更准确地完成微电子芯片表面缺陷检测任务。
在一些实施例中，所述边缘比对结果包括第一边缘比对结果，所述第一边缘比对结果用于反映所述表面缺陷检测训练结果的表面缺陷形状的训练质量评分；所述先验表面缺陷认证知识包括第一先验认证知识和第二先验认证知识，所述第一先验认证知识用于反映所述微电子芯片显微扫描图像训练样例的所述目标表面缺陷，所述第二先验认证知识用于反映所述微电子芯片显微扫描图像训练样例的表面缺陷。则依据所述先验表面缺陷认证知识与所述表面缺陷检测训练结果之间的最少两个区别，对所述表面缺陷检测网络进行调校，包括：依据所述表面缺陷检测训练结果与所述第二先验认证知识得到所述第一边缘比对结果；依据所述表面缺陷检测训练结果与所述第一先验认证知识得到所述关键比对结果；依据所述第一边缘比对结果与所述关键比对结果，对所述表面缺陷检测网络进行调校。
在这个技术方案中，新增了第一边缘比对结果，第一先验认证知识和第二先验认证知识。第一边缘比对结果用于反映表面缺陷检测训练结果的表面缺陷形状的训练质量评分。第一先验认证知识和第二先验认证知识则分别用于反映微电子芯片显微扫描图像训练样例的目标表面缺陷和表面缺陷。
例如，假设有一个关于目标表面缺陷的第一先验认证知识K1和一个关于表面缺陷的第二先验认证知识K2。同时，也有一个表面缺陷检测训练结果R。可以通过比对R和K2来得到第一边缘比对结果，如0.2，表示表面缺陷形状的训练质量评分为0.2。然后，可以通过比对R和K1来得到关键比对结果，如0.7，表示训练质量评分为0.7。
根据第一边缘比对结果和关键比对结果，可以对表面缺陷检测网络进行调校，使得训练质量评分达到最优。
因此，引入第一边缘比对结果，第一先验认证知识和第二先验认证知识后，不仅可以更全面地了解模型训练的质量，还可以从目标表面缺陷和表面缺陷两个角度去评估模型的表现。这种多角度的评估方式能够帮助更准确地找出模型的优点和不足，从而进行有效的调校。通过这样的方式，模型将能够在微电子芯片表面缺陷检测任务中实现更高的准确率和稳定性。
在一些示例中，所述边缘比对结果包括第二边缘比对结果，所述第二边缘比对结果用于反映所述表面缺陷检测训练结果；所述先验表面缺陷认证知识还包括第三先验认证知识，所述第三先验认证知识用于反映所述微电子芯片显微扫描图像训练样例的目标表面缺陷是否存在。则所述依据所述先验表面缺陷认证知识与所述表面缺陷检测训练结果之间的最少两个区别，对所述表面缺陷检测网络进行调校，包括：依据所述表面缺陷检测训练结果与所述第三先验认证知识得到所述第二边缘比对结果；依据所述表面缺陷检测训练结果与第一先验认证知识得到所述关键比对结果；依据所述第二边缘比对结果与所述关键比对结果，对所述表面缺陷检测网络进行调校。
在这个技术方案中，新增了第二边缘比对结果和第三先验认证知识。第二边缘比对结果用于反映表面缺陷检测训练结果的状态，而第三先验认证知识则是用来判断微电子芯片显微扫描图像训练样例的目标表面缺陷是否存在。
举例来说，假设有一个关于目标表面缺陷存在性的第三先验认证知识K3。同样，有一个表面缺陷检测训练结果R。可以通过比对R和K3得到第二边缘比对结果，例如0.8，这可能意味着训练结果很好地反映了目标表面缺陷的存在。然后，可以通过比对R和之前提到的第一先验认证知识K1（关于目标表面缺陷的知识）得到关键比对结果，如0.6。
依据第二边缘比对结果与关键比对结果，可以进一步对表面缺陷检测网络进行调校，以优化模型的表现。
如此，通过引入第二边缘比对结果和第三先验认证知识，这个技术方案为微电子芯片表面缺陷检测任务提供了一个更加丰富的评估体系。第二边缘比对结果和第三先验认证知识使得可以从训练结果的反映程度以及目标表面缺陷存在性两个新的角度去评估模型的表现，这将有助于更全面、更准确地理解模型在任务中的实际效果，从而进行更为有效的调校。此外，引入目标表面缺陷存在性的考量也增强了模型对真实世界复杂情况的适应能力，提高了其实用价值。
在另外一些可能的实施例中，所述方法还包括步骤210-步骤230。
步骤210、获取待处理微电子芯片显微扫描图像。
步骤220、通过所述表面缺陷检测网络对所述待处理微电子芯片显微扫描图像进行表面缺陷检测处理，得到所述待处理微电子芯片显微扫描图像中的最少两个表面沉积缺陷。
步骤230、依据所述最少两个表面沉积缺陷对所述待处理微电子芯片显微扫描图像进行缺陷标注。
在这个技术方案中，新增了步骤210-步骤230。这些步骤是关于待处理微电子芯片显微扫描图像的获取、表面缺陷检测以及表面沉积缺陷的标注。
举例来说，在步骤210中，可能通过一个高精度显微镜扫描微电子芯片，获得一张待处理的微电子芯片显微扫描图像。然后，在步骤220中，可以通过前述经过调校的表面缺陷检测网络对这张待处理的显微扫描图像进行处理，识别出最少两个表面沉积缺陷。表面沉积缺陷指的是在微电子芯片的表面上不应存在但实际存在的物质，例如尘埃、金属颗粒等。接着，在步骤230中，根据识别出的这些表面沉积缺陷对原始的微电子芯片显微扫描图像进行标注，如在图像上用特定的颜色或形状标记出识别到的表面沉积缺陷的位置。
可见，此技术方案将先前训练和调校的表面缺陷检测网络应用于实际的微电子芯片显微扫描图像处理中，能够准确地识别出表面沉积缺陷并进行标注。这样不仅提高了检测效率，也提升了检测精度，有助于在早期阶段发现并纠正制程中可能出现的问题，从而降低废品率，提高生产效率和产品质量。同时，这种自动化的检测和标注方法也大大降低了人工检查的工作量和出错概率，具有很高的实用价值。
在一些可独立的实施例中，在步骤230所描述的依据所述最少两个表面沉积缺陷对所述待处理微电子芯片显微扫描图像进行缺陷标注之后，所述方法还包括：根据微电子芯片缺陷标注图像以及生产系统状态运行数据，对目标芯片生产系统进行生产状态控制调节；其中，微电子芯片缺陷标注图像是完成缺陷标注的待处理微电子芯片显微扫描图像，生产系统状态运行数据是目标芯片生产系统所对应的未控制调节前的数据。
在一些可独立的实施例中，所述根据微电子芯片缺陷标注图像以及生产系统状态运行数据，对目标芯片生产系统进行生产状态控制调节；其中，微电子芯片缺陷标注图像是完成缺陷标注的待处理微电子芯片显微扫描图像，生产系统状态运行数据是目标芯片生产系统所对应的未控制调节前的数据，包括：依据所述微电子芯片缺陷标注图像对所述生产系统状态运行数据进行状态要素挖掘，得到所述生产系统状态运行数据对应的状态要素向量集；基于所述状态要素向量集对所述生产系统状态运行数据进行第一轮异常解析，得到所述生产系统状态运行数据的初始异常解析观点，所述初始异常解析观点包括所述生产系统状态运行数据所属的异常状态关键词和可信系数；根据所述状态要素向量集的要素分布和所述可信系数，计算所述状态要素向量集针对所述生产系统状态运行数据的异常解析的影响度；根据所述影响度对所述状态要素向量集进行集成，生成用于表征推导所述生产系统状态运行数据为所述异常状态关键词的解释特征；基于所述解释特征对所述生产系统状态运行数据进行第二轮异常解析，得到所述生产系统状态运行数据的目标异常解析观点，所述目标异常解析观点用于指示所述生产系统状态运行数据所属的目标异常状态关键词；利用所述目标异常解析观点对应的控制调节策略，对所述目标芯片生产系统进行生产状态控制调节。
例如，在一家生产微电子芯片的工厂中，使用这个方案，通过分析缺陷标注图像和系统运行数据，进行生产状态控制调节。
状态要素挖掘（State Feature Mining）：首先，会利用深度学习算法从微电子芯片的缺陷标注图像中提取有用的特征信息，这就是所谓的“状态要素挖掘”。同时，也会对生产系统的运行数据进行处理，将它转化为易于计算机理解的向量形式，得到状态要素向量集。
第一轮异常解析（First Round Anomaly Parsing）：接下来，会根据状态要素向量集对生产系统的运行数据进行第一轮的异常解析。在这个过程中，能够得到初步的异常解析观点，包括可能存在的异常状态关键词以及对应的可信系数。
影响度计算（Influence Degree Calculation）：基于要素分布和可信系数，计算状态要素向量集对异常解析的影响度。这样，可以更好地了解每个状态要素对异常解析结果的影响程度。
解释特征生成（Explanation Feature Generation）：根据影响度，将状态要素向量集进行集成，生成用于表征推导异常状态的解释特征。
第二轮异常解析（Second Round Anomaly Parsing）：基于解释特征对生产系统状态运行数据进行第二轮异常解析，得到更准确的异常解析观点，也就是目标异常状态关键词。
生产状态控制调节（Production State Control Adjustment）：最后，利用这个目标异常解析观点，结合相应的控制调节策略，对芯片生产系统进行生产状态控制调节。
如此，通过两轮异常解析，可以提高对异常状态的识别精度，从而更准确地指导生产状态的调整。及时挖掘出生产过程中可能存在的问题，能够迅速做出反应，避免了因为缺陷问题造成的大规模停工或者产品报废。整个过程实现了自动化和智能化，减少了人工干预，降低了误差，提高了生产效率。
在一些可独立的实施例中，所述基于所述状态要素向量集对所述生产系统状态运行数据进行第一轮异常解析，得到所述生产系统状态运行数据的初始异常解析观点，包括：通过决策树算法基于所述状态要素向量集对所述生产系统状态运行数据进行第一轮异常解析，得到所述生产系统状态运行数据的初始异常解析观点；所述基于所述解释特征对所述生产系统状态运行数据进行第二轮异常解析，得到所述生产系统状态运行数据的目标异常解析观点，包括：通过深度残差算法基于所述解释特征对所述生产系统状态运行数据进行第二轮异常解析，得到所述生产系统状态运行数据的目标异常解析观点。
在上述实施例中，决策树算法（Decision Tree Algorithm）是一种常见的机器学习算法，它通过创建决策树来进行预测或分类。在决策树中，每个内部节点代表一个特征或属性，每个分支代表一个决策规则，而每个叶节点代表一个结果。
深度残差算法（Deep Residual Algorithm）是深度学习中的一个重要概念，主要用于解决深层神经网络难以训练的问题。通过引入残差块，使得模型可以学习输入和输出之间的残差映射，有效提高了模型的性能。
现在，再次回到生产微电子芯片的工厂例子。在这个实施例中，使用上述的两种算法来进行异常解析。
第一轮异常解析：在这个阶段，采用决策树算法对状态要素向量集进行分析，根据决策树的结果，能够得到初始的异常解析观点。例如，决策树可能会根据缺陷的位置、大小和形状等因素，判断出哪些芯片可能存在问题。
第二轮异常解析：在得到初始观点后，会采用深度残差算法对生产系统状态运行数据进行第二轮的异常解析。深度残差算法能够学习更复杂的特征和模式，从而提供更准确的异常解析观点。
如此设计，通过决策树和深度残差算法的结合，可以处理各种复杂的生产情况，增强了模型的泛化能力，使得它能够应对不同的生产环境和问题。深度残差算法能够提取更深层次、更抽象的特征，因此在进行异常解析时，能够得出更准确的结果。通过这样的两轮异常解析，可以更早地发现生产过程中的问题，从而及时进行调整，优化生产过程，提高生产效率，降低生产成本。
在一些可独立的实施例中，所述通过决策树算法基于所述状态要素向量集对所述生产系统状态运行数据进行第一轮异常解析，得到所述生产系统状态运行数据的初始异常解析观点之前，所述方法还包括：获取神经网络算法学习数据，所述神经网络算法学习数据包括生产系统状态运行学习案例及其对应的先验关键词和先验决策因子；通过决策树算法对所述生产系统状态运行学习案例进行状态要素挖掘，得到所述生产系统状态运行学习案例对应的状态要素向量集学习案例，并基于所述状态要素向量集学习案例对所述生产系统状态运行学习案例进行第一次异常状态关键词预测，得到预测关键词和预测决策因子；根据所述状态要素向量集学习案例的要素分布和所述预测决策因子，计算所述状态要素向量集学习案例针对所述生产系统状态运行学习案例的异常状态关键词预测的影响度学习案例；根据所述影响度学习案例对所述状态要素向量集学习案例进行集成，生成用于表征推导所述生产系统状态运行学习案例所属所述预测关键词的样本解释特征；通过深度残差算法基于所述样本解释特征对所述生产系统状态运行学习案例进行第二次异常状态关键词预测，得到目标预测关键词；计算所述预测关键词和所述先验关键词之间的比较结果，得到第一训练误差，以及计算所述目标预测关键词和所述先验关键词之间的比较结果，得到第二训练误差；根据所述第一训练误差改进所述决策树算法的算法变量，以及根据所述第二训练误差调整所述深度残差算法的算法变量，直到满足算法训练达标要求。
上述技术方案引入了一些新的技术术语，首先对它们进行解释：神经网络算法学习数据（Neural Network Algorithm Learning Data）是用于训练神经网络模型的数据，通常包括特征值和标签。在本例中，特征值为生产系统状态运行学习案例，而标签则为对应的先验关键词和先验决策因子。训练误差（Training Error）：在机器学习中，训练误差指的是模型在训练集上的预测结果与真实结果之间的差距。减小训练误差是优化模型性能的重要目标。
现在，再次回到生产微电子芯片的工厂例子，进一步探讨这个技术方案。在开始第一轮异常解析之前，会进行以下操作：
获取神经网络算法学习数据：首先，会收集一些生产系统状态运行学习案例及其对应的先验关键词和先验决策因子，作为神经网络算法的学习数据。
状态要素挖掘与第一次异常状态关键词预测：然后，会通过决策树算法对学习案例进行状态要素挖掘，得到相应的状态要素向量集学习案例，并基于这些案例进行第一次异常状态关键词预测。
影响度学习案例计算与样本解释特征生成：接下来，会计算每个状态要素向量集学习案例对异常状态关键词预测的影响度，然后通过集成方法生成样本解释特征。
第二次异常状态关键词预测：在获得样本解释特征后，会通过深度残差算法进行第二次异常状态关键词预测，得到目标预测关键词。
训练误差计算与算法调整：最后，会计算两次预测结果和先验关键词之间的比较结果，得到第一和第二训练误差。根据这些误差，会分别调整决策树算法和深度残差算法的参数，直到满足算法训练达标要求。
这样一来，通过反复计算训练误差并调整算法参数，可以使模型更好地适应数据，提高预测精度。算法通过训练过程不断学习和优化，可以对新的生产环境和问题具有较好的鲁棒性。整个过程采用了自动化的方式进行，极大地降低了人工参与的需要，提高了生产效率。
在上述基础上，提供了一种AI检测服务设备，包括互相之间通信的处理器和存储器，所述处理器用于从所述存储器中调取计算机程序，并通过运行所述计算机程序实现上述的方法。
在上述基础上，提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序在运行时实现上述的方法。
需要注意的是，在上述描述中，已经详细介绍了表面缺陷检测网络、图像描述表达挖掘分支、缺陷检测分支、热力图像知识提炼组件、视觉输出变量提炼组件以及区域图像特征挖掘核的概念和实现方式。这些实现方式主要基于深度学习的技术，特别是卷积神经网络（CNN）和其相关变体。
表面缺陷检测网络是用于从输入图像中检测出表面缺陷的网络结构，它可以包含多个不同的分支，如图像描述表达挖掘分支和缺陷检测分支。
图像描述表达挖掘分支则是用于从输入图像中提取和优化图像知识的组件，它可能包括图像知识提炼组件和图像知识优化组件。其中，图像知识提炼组件包括热力图像知识提炼组件、视觉输出变量提炼组件和区域图像特征挖掘核等。
缺陷检测分支是用于具体执行缺陷检测任务的组件，它可能包括顶层缺陷检测分支和底层缺陷检测分支，可以利用不同层级的特征进行缺陷检测。
对于热力图像知识提炼组件、视觉输出变量提炼组件和区域图像特征挖掘核，已经提供了详细的卷积神经网络模型和算法示例。这些模型和算法在计算机视觉领域是常见的，并且有许多开源的深度学习框架（如TensorFlow、PyTorch等）提供了对应的实现。
因此，对于本领域技术人员而言，上述的具体实现方式是公开充分且能够实施的。本领域技术人员可以基于现有的深度学习框架和算法，根据具体需求设计并实现相应的网络结构和模块。
以上仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。
Claims (8)
1.一种芯片表面缺陷检测方法，其特征在于，应用于AI检测服务设备，所述方法包括：
获取微电子芯片显微扫描图像训练样例和所述微电子芯片显微扫描图像训练样例的先验表面缺陷认证知识，所述先验表面缺陷认证知识用于反映所述微电子芯片显微扫描图像训练样例的目标表面缺陷；
通过表面缺陷检测网络中的图像描述表达挖掘分支对所述微电子芯片显微扫描图像训练样例进行图像描述表达挖掘处理，得到所述微电子芯片显微扫描图像训练样例的图像描述表达序列，所述图像描述表达序列中的图像描述表达与所述微电子芯片显微扫描图像训练样例的图像细节的视觉输出变量具有一对一匹配关系；
通过所述表面缺陷检测网络中的缺陷检测分支对所述图像描述表达序列进行表面缺陷检测处理，得到表面缺陷检测训练结果，所述缺陷检测分支用于捕捉所述微电子芯片显微扫描图像训练样例中的各个所述表面缺陷检测训练结果的第一缺陷区域和第二缺陷区域，所述表面缺陷检测训练结果存在最少两个，所述表面缺陷检测训练结果是依据所述表面缺陷检测网络的单次处理所得的；
依据所述先验表面缺陷认证知识与所述表面缺陷检测训练结果之间的区别，对所述表面缺陷检测网络进行调校；
所述微电子芯片显微扫描图像训练样例包括微电子芯片显微扫描图像索引和图像细节；所述图像描述表达挖掘分支包括图像知识提炼组件和图像知识优化组件；
则所述通过所述表面缺陷检测网络中的图像描述表达挖掘分支对所述微电子芯片显微扫描图像训练样例进行图像描述表达挖掘处理，得到所述微电子芯片显微扫描图像训练样例的图像描述表达序列，包括：
获取设定检测任务特征；
基于所述设定检测任务特征、所述微电子芯片显微扫描图像索引和所述图像细节，得到芯片表面缺陷检测输入三元组；
通过所述表面缺陷检测网络中的所述图像知识提炼组件对所述芯片表面缺陷检测输入三元组进行图像知识提炼操作，得到所述微电子芯片显微扫描图像训练样例的图像知识变量集；
通过所述表面缺陷检测网络中的所述图像知识优化组件对所述图像知识变量集进行图像知识优化操作，得到所述微电子芯片显微扫描图像训练样例的所述图像描述表达序列；
其中，所述图像知识变量集包括视觉线性变量和热力线性变量，所述视觉线性变量用于反映所述微电子芯片显微扫描图像训练样例中的视觉输出变量，所述热力线性变量用于反映所述微电子芯片显微扫描图像训练样例中视觉输出变量的热力值；所述图像知识提炼组件包括热力图像知识提炼组件和视觉输出变量提炼组件；
则所述通过所述表面缺陷检测网络中的所述图像知识提炼组件对所述芯片表面缺陷检测输入三元组进行图像知识提炼操作，得到所述微电子芯片显微扫描图像训练样例的图像知识变量集，包括：
通过所述表面缺陷检测网络中的所述热力图像知识提炼组件对所述芯片表面缺陷检测输入三元组进行热力图像知识提炼操作，得到所述热力线性变量；
通过所述表面缺陷检测网络中的所述视觉输出变量提炼组件对所述芯片表面缺陷检测输入三元组进行视觉输出变量图像知识提炼操作，得到所述视觉线性变量。
2.根据权利要求1所述的方法，其特征在于，所述缺陷检测分支包括顶层缺陷检测分支和底层缺陷检测分支；所述通过所述表面缺陷检测网络中的缺陷检测分支对所述图像描述表达序列进行表面缺陷检测处理，得到表面缺陷检测训练结果，包括：
通过所述顶层缺陷检测分支对所述图像描述表达序列进行第一检测处理，得到所述图像描述表达序列中的顶层图像描述表达，所述顶层图像描述表达是与各个所述表面缺陷检测训练结果的第一缺陷区域对应的图像描述表达；
通过所述底层缺陷检测分支对所述图像描述表达序列进行第二检测处理，得到所述图像描述表达序列中的底层图像描述表达，所述底层图像描述表达是与各个所述表面缺陷检测训练结果的第二缺陷区域对应的图像描述表达；
依据所述顶层图像描述表达和所述底层图像描述表达确定所述表面缺陷检测训练结果；
其中，所述依据所述顶层图像描述表达和所述底层图像描述表达确定所述表面缺陷检测训练结果，包括：
确定位于第u个顶层图像描述表达之下的v个底层图像描述表达，所述u，v为正整数；
基于所述第u个顶层图像描述表达和所述v个底层图像描述表达之间的视觉输出变量得到所述表面缺陷检测训练结果。
3.根据权利要求1所述的方法，其特征在于，所述图像知识变量集还包括区域线性变量；所述图像知识提炼组件还包括区域图像特征挖掘核；
则所述通过所述表面缺陷检测网络中的所述图像描述表达挖掘分支对所述芯片表面缺陷检测输入三元组进行图像描述表达挖掘处理，得到所述微电子芯片显微扫描图像训练样例的图像知识变量集，包括：
为所述芯片表面缺陷检测输入三元组中的所述设定检测任务特征配置第一特征指数；
为所述芯片表面缺陷检测输入三元组中的所述微电子芯片显微扫描图像索引配置第二特征指数；
为所述芯片表面缺陷检测输入三元组中的所述图像细节配置第三特征指数；
其中，所述第一特征指数、所述第二特征指数和所述第三特征指数是不同的指数；
通过所述表面缺陷检测网络中的所述区域图像特征挖掘核对所述芯片表面缺陷检测输入三元组进行图像知识提炼操作，得到所述区域线性变量。
4.根据权利要求1所述的方法，其特征在于，所述图像知识变量集还包括分布线性变量，所述分布线性变量用于反映所述微电子芯片显微扫描图像训练样例中的视觉输出变量所对应的分布标签；
则所述通过所述表面缺陷检测网络中的所述图像知识提炼组件对所述芯片表面缺陷检测输入三元组进行图像知识提炼操作，得到所述微电子芯片显微扫描图像训练样例的图像知识变量集，包括：
通过所述表面缺陷检测网络中的视觉输出变量提炼组件对所述芯片表面缺陷检测输入三元组进行视觉输出变量图像知识提炼操作，得到所述分布线性变量。
5.根据权利要求1所述的方法，其特征在于，所述依据所述先验表面缺陷认证知识与所述表面缺陷检测训练结果之间的区别，对所述表面缺陷检测网络进行调校，包括：
依据所述先验表面缺陷认证知识与所述表面缺陷检测训练结果之间的最少两个区别，对所述表面缺陷检测网络进行调校，所述最少两个区别包括关键比对结果和边缘比对结果，所述关键比对结果用于反映所述表面缺陷检测训练结果的训练质量评分，所述边缘比对结果用于改进所述关键比对结果。
6.根据权利要求5所述的方法，其特征在于，所述边缘比对结果包括第一边缘比对结果，所述第一边缘比对结果用于反映所述表面缺陷检测训练结果的表面缺陷形状的训练质量评分；
则所述先验表面缺陷认证知识包括第一先验认证知识和第二先验认证知识，所述第一先验认证知识用于反映所述微电子芯片显微扫描图像训练样例的所述目标表面缺陷，所述第二先验认证知识用于反映所述微电子芯片显微扫描图像训练样例的表面缺陷；
所述依据所述先验表面缺陷认证知识与所述表面缺陷检测训练结果之间的最少两个区别，对所述表面缺陷检测网络进行调校，包括：
依据所述表面缺陷检测训练结果与所述第二先验认证知识得到所述第一边缘比对结果；
依据所述表面缺陷检测训练结果与所述第一先验认证知识得到所述关键比对结果；
依据所述第一边缘比对结果与所述关键比对结果，对所述表面缺陷检测网络进行调校；
或者，
所述边缘比对结果包括第二边缘比对结果，所述第二边缘比对结果用于反映所述表面缺陷检测训练结果；所述先验表面缺陷认证知识还包括第三先验认证知识，所述第三先验认证知识用于反映所述微电子芯片显微扫描图像训练样例的目标表面缺陷是否存在；
则所述依据所述先验表面缺陷认证知识与所述表面缺陷检测训练结果之间的最少两个区别，对所述表面缺陷检测网络进行调校，包括：
依据所述表面缺陷检测训练结果与所述第三先验认证知识得到所述第二边缘比对结果；
依据所述表面缺陷检测训练结果与第一先验认证知识得到所述关键比对结果；
依据所述第二边缘比对结果与所述关键比对结果，对所述表面缺陷检测网络进行调校。
7.根据权利要求1所述的方法，其特征在于，所述方法还包括：
获取待处理微电子芯片显微扫描图像；
通过所述表面缺陷检测网络对所述待处理微电子芯片显微扫描图像进行表面缺陷检测处理，得到所述待处理微电子芯片显微扫描图像中的最少两个表面沉积缺陷；
依据所述最少两个表面沉积缺陷对所述待处理微电子芯片显微扫描图像进行缺陷标注。
8.一种AI检测服务设备，其特征在于，所述AI检测服务设备包括互相之间通信的处理器和存储器，所述处理器用于从所述存储器中调取计算机程序，并通过运行所述计算机程序实现权利要求1-7任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410179211.XA CN117726627B (zh) | 2024-02-18 | 2024-02-18 | 芯片表面缺陷检测方法及设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410179211.XA CN117726627B (zh) | 2024-02-18 | 2024-02-18 | 芯片表面缺陷检测方法及设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117726627A CN117726627A (zh) | 2024-03-19 |
| CN117726627B true CN117726627B (zh) | 2024-04-16 |
Family
ID=90209254
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410179211.XA Active CN117726627B (zh) | 2024-02-18 | 2024-02-18 | 芯片表面缺陷检测方法及设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117726627B (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP3937128A2 (en) * | 2020-12-25 | 2022-01-12 | Beijing Baidu Netcom Science And Technology Co., Ltd. | Image defect detection method and apparatus, electronic device, storage medium and product |
| CN114235759A (zh) * | 2022-02-25 | 2022-03-25 | 季华实验室 | 缺陷检测方法、装置、设备及计算机可读存储介质 |
| CN114742818A (zh) * | 2022-05-09 | 2022-07-12 | 苏州荣视软件技术有限公司 | 一种基于工业面阵摄像头视觉缺陷检测系统及其检测方法 |
| CN117115610A (zh) * | 2023-08-30 | 2023-11-24 | 西安电子科技大学 | 基于多角度图像曝光融合的金属表面缺陷检测方法及系统 |
| CN117132546A (zh) * | 2023-08-03 | 2023-11-28 | 同济大学 | 一种用于无缺陷样本条件下的混凝土表面缺陷检测方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20210299879A1 (en) * | 2018-10-27 | 2021-09-30 | Gilbert Pinter | Machine vision systems, illumination sources for use in machine vision systems, and components for use in the illumination sources |
-
2024
- 2024-02-18 CN CN202410179211.XA patent/CN117726627B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP3937128A2 (en) * | 2020-12-25 | 2022-01-12 | Beijing Baidu Netcom Science And Technology Co., Ltd. | Image defect detection method and apparatus, electronic device, storage medium and product |
| CN114235759A (zh) * | 2022-02-25 | 2022-03-25 | 季华实验室 | 缺陷检测方法、装置、设备及计算机可读存储介质 |
| CN114742818A (zh) * | 2022-05-09 | 2022-07-12 | 苏州荣视软件技术有限公司 | 一种基于工业面阵摄像头视觉缺陷检测系统及其检测方法 |
| CN117132546A (zh) * | 2023-08-03 | 2023-11-28 | 同济大学 | 一种用于无缺陷样本条件下的混凝土表面缺陷检测方法 |
| CN117115610A (zh) * | 2023-08-30 | 2023-11-24 | 西安电子科技大学 | 基于多角度图像曝光融合的金属表面缺陷检测方法及系统 |
Non-Patent Citations (1)
| Title |
|---|
| 基于机器视觉的芯片检测系统的设计与实现;孙镇江;《信息与电脑(理论版)》;20230630(第11期);第15-19页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117726627A (zh) | 2024-03-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111179251B (zh) | 基于孪生神经网络利用模板比对的缺陷检测系统及方法 | |
| CN108961235B (zh) | 一种基于YOLOv3网络和粒子滤波算法的缺陷绝缘子识别方法 | |
| CN106971152B (zh) | 一种基于航拍图像的检测输电线路中鸟巢的方法 | |
| CN110705601A (zh) | 基于单阶段目标检测的变电站设备渗漏油图像识别方法 | |
| CN111524144B (zh) | 一种基于GAN和Unet网络的肺结节智能诊断方法 | |
| CN112541508A (zh) | 果实分割识别方法及系统、果实采摘机器人 | |
| CN111126433A (zh) | 一种工厂pcb板缺陷检测中正负样本数据平衡方法 | |
| CN111768415A (zh) | 一种无量化池化的图像实例分割方法 | |
| WO2024021461A1 (zh) | 缺陷检测方法及装置、设备、存储介质 | |
| CN113469950A (zh) | 一种基于深度学习的复合绝缘子异常发热缺陷的诊断方法 | |
| CN116012291A (zh) | 工业零件图像缺陷检测方法及系统、电子设备和存储介质 | |
| Song et al. | Blind image quality assessment for authentic distortions by intermediary enhancement and iterative training | |
| CN117726627B (zh) | 芯片表面缺陷检测方法及设备 | |
| CN115830302B (zh) | 一种多尺度特征提取融合配电网设备定位识别方法 | |
| CN117103790A (zh) | 瓦楞纸板生产线及其控制方法 | |
| CN117252815A (zh) | 基于2d-3d多模态图像的工业零件缺陷检测方法、系统、设备及存储介质 | |
| US11195265B2 (en) | Server and method for recognizing image using deep learning | |
| CN112529025A (zh) | 一种数据处理方法及装置 | |
| CN114782822A (zh) | 电力设备的状态检测方法、装置、电子设备及存储介质 | |
| CN115631154A (zh) | 一种电力设备状态监控分析方法与系统 | |
| CN113920087A (zh) | 基于深度学习的微小元器件缺陷检测系统及方法 | |
| CN113870342A (zh) | 外观缺陷检测方法、智能终端以及存储装置 | |
| JP7206892B2 (ja) | 画像検査装置、画像検査のための学習方法および画像検査プログラム | |
| CN113052799A (zh) | 一种基于Mask RCNN网络的骨肉瘤和骨软骨瘤预测方法 | |
| CN117078608B (zh) | 一种基于双掩码引导的高反光皮革表面缺陷检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |