CN113269266B - 多故障模式下基于知识蒸馏的晶圆制造过程故障检测方法 - Google Patents

多故障模式下基于知识蒸馏的晶圆制造过程故障检测方法 Download PDF

Info

Publication number
CN113269266B
CN113269266B CN202110637674.2A CN202110637674A CN113269266B CN 113269266 B CN113269266 B CN 113269266B CN 202110637674 A CN202110637674 A CN 202110637674A CN 113269266 B CN113269266 B CN 113269266B
Authority
CN
China
Prior art keywords
data
fault detection
fault
detection model
rare
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110637674.2A
Other languages
English (en)
Other versions
CN113269266A (zh
Inventor
张林鍹
郑敬浩
刘重党
蒋正宜
张健翔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tsinghua University
Original Assignee
Tsinghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tsinghua University filed Critical Tsinghua University
Priority to CN202110637674.2A priority Critical patent/CN113269266B/zh
Publication of CN113269266A publication Critical patent/CN113269266A/zh
Application granted granted Critical
Publication of CN113269266B publication Critical patent/CN113269266B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computational Linguistics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Testing And Monitoring For Control Systems (AREA)

Abstract

本申请提出了一种多故障模式下基于知识蒸馏的晶圆制造过程故障检测方法，涉及晶圆制造过程故障检测技术领域，其中，该方法包括：获取历史故障数据，并根据历史故障数据中故障的出现频次，确定常见故障类型和罕见故障类型；基于常见故障类型的监测数据，使用域自适应神经网络减小不同机台间的数据分布差异，以构建常见故障检测模型；构建罕见故障检测模型，获取常见故障检测模型在罕见故障数据训练集上的输出软标签，使用知识蒸馏方式，借助输出的软标签和数据真实标签优化罕见故障检测模型。本发明实现通过知识蒸馏方法，跨故障模式进行知识提取与传递，提升模型在罕见故障下的综合性能，实现对故障的及时检测，从而提高产品良率与生产线效率。

Description

多故障模式下基于知识蒸馏的晶圆制造过程故障检测方法
技术领域
本申请涉及晶圆制造过程故障检测技术领域，尤其涉及一种多故障模式下基于知识蒸馏的晶圆制造过程故障检测方法和装置。
背景技术
晶圆制造是集成电路产业链中的重要环节，其工序繁多，设备复杂且精密。复杂的工序和设备提升了晶圆的性能指标，也增大了故障发生的风险。生产过程中，偶发的设备故障会降低产品良率，损坏加工设备，造成严重的经济损失。因此，及时准确地检测出故障有助于提升晶圆制造效率，降低停机的影响，具有十分重要的工业应用价值。但是，晶圆制造过程中故障模式众多，各故障模式分布不平衡，罕见故障模式的信息不足，给实际的故障检测造成了很大的困难。
一般地，故障检测方法主要分为三类：基于模型、数据驱动、模型与数据驱动相结合的方法。随着传感器、存储技术和计算能力的发展，数据驱动方法愈发受学者关注，故障检测进入“大数据”时代。数据驱动的故障检测方法通过搜集设备运行过程中产生的大量数据，挖掘记录数据与运行状态之间的联系，从而构建从传感器数据到运行状态的检测模型。常见的方法包括主成分分析、支持向量机、k-近邻法、循环神经网络(Recurrent NeuralNetwork，RNN)等。
对于故障模式众多且各故障模式分布不平衡的实际场景，可以选择在进行故障检测时是否区分故障模式。而分故障模式进行故障检测时，对于罕见故障，既可以单独使用罕见故障数据进行故障检测，也可以使用知识迁移的方法(如迁移学习)，借助常见故障数据信息进行故障检测。
晶圆制造过程中，设备故障模式众多且各故障模式分布不平衡。许多故障检测方法忽略故障模式的不同，训练过程中罕见故障的信息会被常见故障“淹没”，这降低了模型对罕见故障的敏感性。
对于晶圆制造过程中的罕见故障，由于数据稀少、信息不足，单独使用罕见故障数据的检测方法会增加检测模型训练的难度，也会降低模型的可靠性和泛化性能。
迁移学习通过“域适应”或“预训练与微调(fine-tune)”等方法，将模型从常见故障数据中学到的信息应用到罕见故障，辅助检测罕见故障。但迁移学习无法压缩模型结构，罕见故障的模型大小和常见故障一样，增加了硬件设备的负担。
发明内容
本申请旨在至少在一定程度上解决相关技术中的技术问题之一。
为此，本申请的第一个目的在于提出一种多故障模式下基于知识蒸馏的晶圆制造过程故障检测方法，解决了现有方法忽略故障模式的不同，导致训练过程中罕见故障的信息被常见故障“淹没”，降低模型对罕见故障的敏感性的技术问题；同时解决了由于数据稀少、信息不足，单独使用罕见故障数据进行故障检测会增加检测模型训练难度，降低模型的可靠性和泛化性能的问题；还解决了其他迁移学习无法压缩模型结构导致罕见故障的模型大小和常见故障一样，增加硬件设备的负担的问题。
本申请基于生产过程中多传感器采集的数据，使用知识蒸馏方法，跨故障模式进行知识提取与传递，通过将常见故障检测模型的有效分类信息转移到罕见故障检测模型上，降低了模型尺寸，提升了模型在罕见故障下的综合性能，实现了对故障的及时检测，从而提高了产品良率与生产线效率。
本申请的第二个目的在于提出一种多故障模式下基于知识蒸馏的晶圆制造过程故障检测装置。
本申请的第三个目的在于提出一种非临时性计算机可读存储介质。
为达上述目的，本申请第一方面实施例提出了一种多故障模式下基于知识蒸馏的晶圆制造过程故障检测方法，包括：获取历史故障数据，并根据历史故障数据中故障的出现频次，确定常见故障类型和罕见故障类型；基于常见故障类型的监测数据，使用域自适应神经网络减小不同机台间的数据分布差异，构建常见故障检测模型；构建罕见故障检测模型，获取常见故障检测模型在罕见故障数据训练集上的输出软标签，使用知识蒸馏方式，借助输出的软标签和数据真实标签优化罕见故障检测模型。
可选地，在本申请的一个实施例中，在根据历史故障数据中故障的出现频次，确定常见故障类型和罕见故障类型之后，故障检测方法还包括：
数据预处理：从历史故障数据中分割出正常样本和异常样本，其中，设置时间间隔，将设备启动后的时间间隔范围内的数据归为正常数据，将设备失效停止前的时间间隔范围内的数据归为异常数据；
时间窗处理：设置时间窗口长度，在时间维度上滑动时间窗口，构成带时间窗的数据样本和数据标签。
可选地，在本申请的一个实施例中，基于域自适应神经网络构建常见故障检测模型T，根据训练数据xtrain和测试数据xtest训练模型，常见故障检测模型的优化目标为：
LT＝Lc[CT(FT(xtrain)),ytrain]+λLMMD[FT(xtrain),FT(xtest)]
其中，FT为特征提取网络，CT为分类器网络，特征提取网络FT用于提取数据样本在不同工况下的共同特征，分类器网络CT用于判断故障，Lc表示训练集输出CT(FT(xtrain))和真实标签ytrain的损失函数，λ是权重系数，LMMD表示训练集提取特征FT(xtrain)和测试集提取特征FT(xtest)的多核最大均值差异，度量特征分布差异大小。
可选地，在本申请的一个实施例中，罕见故障检测模型的优化目标为：
LS＝Lg+αLkd
其中，Lg表示罕见故障检测模型的输出ys和真实标签ytrue的交叉熵损失；Lkd为罕见故障检测模型的输出ys和模型T的输出yt的交叉熵损失，α为权重系数。
可选地，在本申请的一个实施例中，Lg、Lkd的计算公式如下：
其中，n为样本总数，c为类别标签，表示第i个样本属于类别c的真实概率， 分别表示罕见故障检测模型、常见故障检测模型输出的第i个样本属于类别c的概率。
为达上述目的，本发明第二方面实施例提出了一种多故障模式下基于知识蒸馏的晶圆制造过程故障检测装置，包括：
获取模块，用于获取历史故障数据，并根据历史故障数据中故障的出现频次，确定常见故障类型和罕见故障类型；
第一构建模块，用于基于常见故障类型的监测数据，使用域自适应神经网络减小不同机台间的数据分布差异，构建常见故障检测模型；
第二构建模块，用于构建罕见故障检测模型；
优化模块，用于获取常见故障检测模型在罕见故障数据训练集上的输出软标签，使用知识蒸馏方式，借助输出的软标签和数据真实标签优化罕见故障检测模型。
可选地，在本申请的一个实施例中，还包括：
预处理模块，预处理模块用于数据预处理和时间窗处理；
数据预处理：从历史故障数据中分割出正常样本和异常样本，其中，设置时间间隔，将设备启动后的时间间隔范围内的数据归为正常数据，将设备失效停止前的时间间隔范围内的数据归为异常数据；
时间窗处理：设置时间窗口长度，在时间维度上滑动时间窗口，构成带时间窗的数据样本和数据标签。
为了实现上述目的，本发明第三方面实施例提出了一种非临时性计算机可读存储介质，当存储介质中的指令由处理器被执行时，能够执行多故障模式下基于知识蒸馏的晶圆制造过程故障检测方法和装置。
本申请实施例的多故障模式下基于知识蒸馏的晶圆制造过程故障检测方法、多故障模式下基于知识蒸馏的晶圆制造过程故障检测装置和非临时性计算机可读存储介质，解决了现有方法忽略故障模式的不同，导致训练过程中罕见故障的信息被常见故障“淹没”，降低模型对罕见故障的敏感性的技术问题；同时解决了由于数据稀少、信息不足，单独使用罕见故障数据进行故障检测会增加检测模型训练难度，降低模型的可靠性和泛化性能的问题；还解决了其它迁移学习无法压缩模型结构导致罕见故障的模型大小和常见故障一样，增加硬件设备的负担的问题。本申请基于生产过程中多传感器采集的数据，使用知识蒸馏方法，跨故障模式进行知识提取与传递，通过将常见故障检测模型的有效分类信息转移到罕见故障检测模型上，降低了模型尺寸，提升了模型在罕见故障下的综合性能，实现了对故障的及时检测，从而提高了产品良率与生产线效率。
本申请附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。
附图说明
本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1为本申请实施例一所提供的一种多故障模式下基于知识蒸馏的晶圆制造过程故障检测方法的流程图；
图2为本申请实施例的多故障模式下基于知识蒸馏的晶圆制造过程故障检测方法的基于知识蒸馏的罕见故障检测模型训练流程图；
图3为本申请实施例的多故障模式下基于知识蒸馏的晶圆制造过程故障检测方法的基于知识蒸馏的跨故障模式的故障检测流程图；
图4为本申请实施例的多故障模式下基于知识蒸馏的晶圆制造过程故障检测方法的不同权重系数α下的准确率ACC、召回率R对比图；
图5为本申请实施例二所提供的多故障模式下基于知识蒸馏的晶圆制造过程故障检测装置的结构示意图。
具体实施方式
下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本申请，而不能理解为对本申请的限制。
下面参考附图描述本申请实施例的多故障模式下基于知识蒸馏的晶圆制造过程故障检测方法和装置。
图1为本申请实施例一所提供的一种多故障模式下基于知识蒸馏的晶圆制造过程故障检测方法的流程图。
如图1所示，该多故障模式下基于知识蒸馏的晶圆制造过程故障检测方法包括以下步骤：
步骤101，获取历史故障数据，并根据历史故障数据中故障的出现频次，确定常见故障类型和罕见故障类型；
步骤102，基于常见故障类型的监测数据，使用域自适应神经网络减小不同机台间的数据分布差异，构建常见故障检测模型；
步骤103，构建罕见故障检测模型，获取常见故障检测模型在罕见故障数据训练集上的输出软标签，使用知识蒸馏方式，借助输出的软标签和数据真实标签优化罕见故障检测模型。
本申请实施例的多故障模式下基于知识蒸馏的晶圆制造过程故障检测方法，通过获取历史故障数据，并根据历史故障数据中故障的出现频次，确定常见故障类型和罕见故障类型；基于常见故障类型的监测数据，使用域自适应神经网络减小不同机台间的数据分布差异，以构建常见故障检测模型；构建罕见故障检测模型，获取常见故障检测模型在罕见故障数据训练集上的输出软标签，使用知识蒸馏方式，借助输出的软标签和数据真实标签优化罕见故障检测模型。由此，能够解决现有方法忽略故障模式的不同，导致训练过程中罕见故障的信息被常见故障“淹没”，降低模型对罕见故障的敏感性的技术问题；同时可以解决由于数据稀少、信息不足，单独使用罕见故障数据进行故障检测会增加检测模型训练难度，降低模型的可靠性和泛化性能的问题；还可以解决迁移学习无法压缩模型结构导致罕见故障的模型大小和常见故障一样，增加硬件设备的负担的问题。通过基于生产过程中多传感器采集的数据，使用知识蒸馏方法，跨故障模式进行知识提取与传递，将常见故障检测模型的有效分类信息转移到罕见故障检测模型上，降低了模型尺寸，提升了模型在罕见故障下的综合性能，实现了对故障的及时检测，从而提高了产品良率与生产线效率。
进一步地，在本申请实施例中，对历史故障数据进行分类，依据故障数据的出现频率区分常见故障、罕见故障故障。把数据切分为不同的“设备启动—设备停止”运行失效周期，根据故障原因的不同，对运行失效周期进行分类，区分常见故障和罕见故障。在根据历史故障数据中故障的出现频次，确定常见故障类型和罕见故障类型之后，故障检测方法还包括：
数据预处理：从历史故障数据中分割出正常样本和异常样本，其中，设置时间间隔，将设备启动后的时间间隔范围内的数据归为正常数据，将设备失效停止前的时间间隔范围内的数据归为异常数据；
时间窗处理：设置时间窗口长度，在时间维度上滑动时间窗口，构成带时间窗的数据样本和数据标签。
进一步地，在本申请实施例中，基于域自适应神经网络构建常见故障检测模型T，根据训练数据xtrain和测试数据xtest训练模型，常见故障检测模型的优化目标为：
LT＝Lc[CT(FT(xtrain)),ytrain]+λLMMD[FT(xtrain),FT(xtest)]
其中，FT为特征提取网络，CT为分类器网络，特征提取网络FT用于提取数据样本在不同工况下的共同特征，分类器网络CT用于判断故障，Lc表示训练集输出CT(FT(xtrain))和真实标签ytrain的损失函数，λ是权重系数，LMMD表示训练集提取特征FT(xtrain)和测试集提取特征FT(xtest)的多核最大均值差异，度量特征分布差异大小。
在常见故障数据集上优化常见故障检测模型，使常见故障检测模型能够学习数据样本的共同特征，增强常见故障检测模型的泛化性能，从而实现对常见故障准确和可靠的检测。
进一步地，在本申请实施例中，罕见故障检测模型的优化目标为：
LS＝Lg+αLkd
其中，Lg表示罕见故障检测模型的输出ys和真实标签ytrue的交叉熵损失；Lkd为罕见故障检测模型的输出ys和模型T的输出yt的交叉熵损失，α为权重系数。
由于罕见故障的样本数据较少，为了解决直接训练得到的故障检测模型泛化能力不足的问题，借助常见故障检测模型，基于知识蒸馏，设计罕见故障检测模型，从常见故障检测模型跨故障模式地“蒸馏”故障信息到模型，从而提升罕见故障检测模型的综合性能。为了在检测罕见故障的同时实现模型压缩，常见故障检测模型的网络架构和罕见故障检测模型一致，但每层设计更少的网络单元，降低罕见故障检测模型的网络大小。训练罕见故障检测模型时，将常见故障检测模型在罕见故障数据训练集上的输出yt也作为学习目标，从而把常见故障检测模型在常见故障数据中学到的有效知识“蒸馏”到罕见故障检测模型中。
进一步地，在本申请实施例中，Lg、Lkd的计算公式如下：
其中，n为样本总数，c为类别标签，表示第i个样本属于类别c的真实概率， 分别表示罕见故障检测模型、常见故障检测模型输出的第i个样本属于类别c的概率。
通过优化罕见故障检测模型，提升罕见故障检测模型的综合性能，实现对罕见故障准确和可靠的检测。为量化该方法的检测效果，采用准确率ACC和召回率R作为度量指标，其表达式为：
Ntotal、Nfault分别为样本总数和故障样本总数，表示模型分类正确的样本总数和故障样本总数。
图2为本申请实施例的多故障模式下基于知识蒸馏的晶圆制造过程故障检测方法的基于知识蒸馏的罕见故障检测模型训练流程图。
如图2所示，该多故障模式下基于知识蒸馏的晶圆制造过程故障检测方法，借助常见故障检测模型，基于知识蒸馏，设计罕见故障检测模型，从常见故障检测模型跨故障模式地“蒸馏”故障信息到模型，从而提升罕见故障检测模型的综合性能。训练罕见故障检测模型时，将常见故障检测模型在罕见故障数据训练集上的输出yt也作为学习目标，从而把常见故障检测模型在常见故障数据中学到的有效知识“蒸馏”到罕见故障检测模型中。
图3为本申请实施例的多故障模式下基于知识蒸馏的晶圆制造过程故障检测方法的基于知识蒸馏的跨故障模式的故障检测流程图。
如图3所示，该多故障模式下基于知识蒸馏的晶圆制造过程故障检测方法，对历史故障数据进行分类，依据故障数据的出现频率区分常见故障、罕见故障，并对数据进行预处理；构建基于域自适应神经网络的常见故障检测模型，利用常见故障检测模型解决单故障模式下工况变化导致数据分布差异的问题，在常见故障数据上进行训练，得到能有效检测常见故障的常见故障检测模型；基于常见故障检测模型，使用知识蒸馏设计罕见故障检测模型，从常见故障检测模型跨故障模式地“蒸馏”故障信息到罕见故障检测模型，从而提升罕见故障检测模型的综合性能。实现对罕见故障的稳定高效检测，同时对检测模型进行压缩，方便嵌入式硬件实现。
图4为本申请实施例的多故障模式下基于知识蒸馏的晶圆制造过程故障检测方法的不同权重系数α下的准确率ACC、召回率R对比图。
如图4所示，在多故障模式下基于知识蒸馏的晶圆制造过程故障检测方法中，为量化多故障模式下基于知识蒸馏的晶圆制造过程故障检测方法的检测效果，采用准确率ACC和召回率R作为度量指标，和不使用知识蒸馏(α＝0)相比，α＝0.2时，准确率和召回率有明显的提升，说明本多故障模式下基于知识蒸馏的晶圆制造过程故障检测方法能有效提升罕见检测模型的综合性能。
图5为本申请实施例二所提供的多故障模式下基于知识蒸馏的晶圆制造过程故障检测装置的结构示意图。
如图5所示，该多故障模式下基于知识蒸馏的晶圆制造过程故障检测装置，包括：
获取模块10，用于获取历史故障数据，并根据历史故障数据中故障的出现频次，确定常见故障类型和罕见故障类型；
第一构建模块20，用于基于常见故障类型的监测数据，使用域自适应神经网络减小不同机台间的数据分布差异，构建常见故障检测模型；
第二构建模块30，用于构建罕见故障检测模型；
优化模块40，用于获取常见故障检测模型在罕见故障数据训练集上的输出软标签，使用知识蒸馏方式，借助输出的软标签和数据真实标签优化罕见故障检测模型。
进一步地，在本申请实施例中，还包括：
预处理模块，预处理模块用于数据预处理和时间窗处理；
数据预处理：从历史故障数据中分割出正常样本和异常样本，其中，设置时间间隔，将设备启动后的时间间隔范围内的数据归为正常数据，将设备失效停止前的时间间隔范围内的数据归为异常数据；
时间窗处理：设置时间窗口长度，在时间维度上滑动时间窗口，构成带时间窗的数据样本和数据标签。
对历史故障数据进行分类，依据故障数据的出现频率区分常见故障、罕见故障故障。在根据历史故障数据中故障的出现频次，确定故障对应的故障类型之后，对故障数据进行预处理，包括数据预处理和时间窗处理。
本申请实施例的多故障模式下基于知识蒸馏的晶圆制造过程故障检测装置，包括：获取模块，用于获取历史故障数据，并根据历史故障数据中故障的出现频次，确定常见故障类型和罕见故障类型；第一构建模块，用于基于常见故障类型的监测数据，使用域自适应神经网络减小不同机台间的数据分布差异，构建常见故障检测模型；第二构建模块，用于构建罕见故障检测模型；优化模块，用于获取常见故障检测模型在罕见故障数据训练集上的输出软标签，使用知识蒸馏方式，借助输出的软标签和数据真实标签优化罕见故障检测模型。由此，能够解决现有方法忽略故障模式的不同，导致训练过程中罕见故障的信息被常见故障“淹没”，降低模型对罕见故障的敏感性的技术问题；同时可以解决由于数据稀少、信息不足，单独使用罕见故障数据进行故障检测会增加检测模型训练难度，降低模型的可靠性和泛化性能的问题；还可以解决迁移学习无法压缩模型结构导致罕见故障的模型大小和常见故障一样，增加硬件设备的负担的问题。通过基于生产过程中多传感器采集的数据，使用知识蒸馏方法，跨故障模式进行知识提取与传递，将常见故障检测模型的有效分类信息转移到罕见故障检测模型上，降低了模型尺寸，提升了模型在罕见故障下的综合性能，实现了对故障的及时检测，从而提高了产品良率与生产线效率。
为了实现上述实施例，本发明还提出了一种非临时性计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述实施例的多故障模式下基于知识蒸馏的晶圆制造过程故障检测方法。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本申请的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本申请的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本申请的实施例所属技术领域的技术人员所理解。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
应当理解，本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如，如果用硬件来实现和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
此外，在本申请各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本申请的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (3)

1.一种多故障模式下基于知识蒸馏的晶圆制造过程故障检测方法，其特征在于，包括以下步骤：
获取历史故障数据，并根据所述历史故障数据中故障的出现频次，确定常见故障类型和罕见故障类型；
基于所述常见故障类型的监测数据，使用域自适应神经网络减小不同机台间的数据分布差异，构建常见故障检测模型；
构建罕见故障检测模型，获取所述常见故障检测模型在罕见故障数据训练集上的输出软标签，使用知识蒸馏方式，借助所述输出软标签和数据真实标签优化所述罕见故障检测模型；
在根据所述历史故障数据中故障的出现频次，确定常见故障类型和罕见故障类型之后，所述故障检测方法还包括：
数据预处理：从所述历史故障数据中分割出正常样本和异常样本，其中，设置时间间隔，将设备启动后的时间间隔范围内的数据归为正常数据，将设备失效停止前的时间间隔范围内的数据归为异常数据；
时间窗处理：设置时间窗口长度，在时间维度上滑动所述时间窗口，构成带时间窗的数据样本和数据标签；
基于域自适应神经网络构建常见故障检测模型T，根据训练数据xtrain和测试数据xtest训练所述模型，所述常见故障检测模型的优化目标为：
LT＝Lc[CT(FT(xtrain)),ytrain]+λLMMD[FT(xtrain),FT(xtest)]
其中，FT为特征提取网络，CT为分类器网络，所述特征提取网络FT用于提取数据样本在不同工况下的共同特征，所述分类器网络CT用于判断故障，Lc表示训练集输出CT(FT(xtrain))和真实标签ytrain的损失函数，λ是权重系数，LMMD表示训练集提取特征FT(xtrain)和测试集提取特征FT(xtest)的多核最大均值差异，度量特征分布差异大小；
其中所述罕见故障检测模型的优化目标为：
LS＝Lg+αLkd
其中，Lg表示所述罕见故障检测模型的输出ys和真实标签ytrue的交叉熵损失；Lkd为所述罕见故障检测模型的输出ys和模型T的输出yt的交叉熵损失，α为权重系数；
所述常见故障检测模型的网络架构和所述罕见故障检测模型一致，所述罕见故障检测模型每层的网络单元少于所述常见故障检测模型；
所述Lg、Lkd的计算公式如下：
其中，n为样本总数，c为类别标签，表示第i个样本属于类别c的真实概率，/> 分别表示所述罕见故障检测模型、所述常见故障检测模型输出的第i个样本属于类别c的概率。
2.一种多故障模式下基于知识蒸馏的晶圆制造过程故障检测装置，其特征在于，包括：
获取模块，用于获取历史故障数据，并根据所述历史故障数据中故障的出现频次，确定常见故障类型和罕见故障类型；
第一构建模块，用于基于所述常见故障类型的监测数据，使用域自适应神经网络减小不同机台间的数据分布差异，构建常见故障检测模型；
第二构建模块，用于构建罕见故障检测模型；
优化模块，用于获取所述常见故障检测模型在罕见故障数据训练集上的输出软标签，使用知识蒸馏方式，借助所述输出软标签和数据真实标签优化所述罕见故障检测模型；
预处理模块，所述预处理模块用于数据预处理和时间窗处理；
所述数据预处理：从所述历史故障数据中分割出正常样本和异常样本，其中，设置时间间隔，将设备启动后的时间间隔范围内的数据归为正常数据，将设备失效停止前的时间间隔范围内的数据归为异常数据；
所述时间窗处理：设置时间窗口长度，在时间维度上滑动所述时间窗口，构成带时间窗的数据样本和数据标签；
基于域自适应神经网络构建常见故障检测模型T，根据训练数据xtrain和测试数据xtest训练所述模型，所述常见故障检测模型的优化目标为：
LT＝Lc[CT(FT(xtrain)),ytrain]+λLMMD[FT(xtrain),FT(xtest)]
其中，FT为特征提取网络，CT为分类器网络，所述特征提取网络FT用于提取数据样本在不同工况下的共同特征，所述分类器网络CT用于判断故障，Lc表示训练集输出CT(FT(xtrain))和真实标签ytrain的损失函数，λ是权重系数，LMMD表示训练集提取特征FT(xtrain)和测试集提取特征FT(xtest)的多核最大均值差异，度量特征分布差异大小；
其中，所述罕见故障检测模型的优化目标为：
LS＝Lg+αLkd
其中，Lg表示所述罕见故障检测模型的输出ys和真实标签ytrue的交叉熵损失；Lkd为所述罕见故障检测模型的输出ys和模型T的输出yt的交叉熵损失，α为权重系数；
所述常见故障检测模型的网络架构和所述罕见故障检测模型一致，所述罕见故障检测模型每层的网络单元少于所述常见故障检测模型；
所述Lg、Lkd的计算公式如下：
其中，n为样本总数，c为类别标签，表示第i个样本属于类别c的真实概率，/> 分别表示所述罕见故障检测模型、所述常见故障检测模型输出的第i个样本属于类别c的概率。
3.一种非临时性计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1所述的多故障模式下基于知识蒸馏的晶圆制造过程故障检测方法。
CN202110637674.2A 2021-06-08 2021-06-08 多故障模式下基于知识蒸馏的晶圆制造过程故障检测方法 Active CN113269266B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110637674.2A CN113269266B (zh) 2021-06-08 2021-06-08 多故障模式下基于知识蒸馏的晶圆制造过程故障检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110637674.2A CN113269266B (zh) 2021-06-08 2021-06-08 多故障模式下基于知识蒸馏的晶圆制造过程故障检测方法

Publications (2)

Publication Number Publication Date
CN113269266A CN113269266A (zh) 2021-08-17
CN113269266B true CN113269266B (zh) 2023-09-19

Family

ID=77234548

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110637674.2A Active CN113269266B (zh) 2021-06-08 2021-06-08 多故障模式下基于知识蒸馏的晶圆制造过程故障检测方法

Country Status (1)

Country Link
CN (1) CN113269266B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110162018A (zh) * 2019-05-31 2019-08-23 天津开发区精诺瀚海数据科技有限公司 基于知识蒸馏与隐含层共享的增量式设备故障诊断方法
CN111721536A (zh) * 2020-07-20 2020-09-29 哈尔滨理工大学 一种改进模型迁移策略的滚动轴承故障诊断方法
CN112364708A (zh) * 2020-10-20 2021-02-12 西安理工大学 基于知识蒸馏与对抗学习的多模态人体动作识别方法
CN112504678A (zh) * 2020-11-12 2021-03-16 重庆科技学院 一种基于知识蒸馏的电机轴承故障诊断方法
CN112629863A (zh) * 2020-12-31 2021-04-09 苏州大学 变工况下动态联合分布对齐网络的轴承故障诊断方法
CN112883994A (zh) * 2020-12-28 2021-06-01 重庆邮电大学 一种均衡分布适配的旋转机械变工况故障诊断方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200175384A1 (en) * 2018-11-30 2020-06-04 Samsung Electronics Co., Ltd. System and method for incremental learning
US11435719B2 (en) * 2019-09-27 2022-09-06 Samsung Display Co., Ltd. System and method for identifying manufacturing defects
US11710045B2 (en) * 2019-10-01 2023-07-25 Samsung Display Co., Ltd. System and method for knowledge distillation

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110162018A (zh) * 2019-05-31 2019-08-23 天津开发区精诺瀚海数据科技有限公司 基于知识蒸馏与隐含层共享的增量式设备故障诊断方法
CN111721536A (zh) * 2020-07-20 2020-09-29 哈尔滨理工大学 一种改进模型迁移策略的滚动轴承故障诊断方法
CN112364708A (zh) * 2020-10-20 2021-02-12 西安理工大学 基于知识蒸馏与对抗学习的多模态人体动作识别方法
CN112504678A (zh) * 2020-11-12 2021-03-16 重庆科技学院 一种基于知识蒸馏的电机轴承故障诊断方法
CN112883994A (zh) * 2020-12-28 2021-06-01 重庆邮电大学 一种均衡分布适配的旋转机械变工况故障诊断方法
CN112629863A (zh) * 2020-12-31 2021-04-09 苏州大学 变工况下动态联合分布对齐网络的轴承故障诊断方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Deep Transfer Learning with Joint Adaptation Networks;Mingsheng Long等;《arXiv》;20170817;第1-10页 *
Learning Transferable Features with Deep Adaptation Networks;Mingsheng Long等;《arXiv》;第1-9页 *
Multimodal Learning with Incomplete Modalities by Knowledge Distillation;Qi Wang等;《KDD "20, August 23–27, 2020, Virtual Event, USA》;20200827;第1828-1838页 *

Also Published As

Publication number Publication date
CN113269266A (zh) 2021-08-17

Similar Documents

Publication Publication Date Title
CN113935406B (zh) 基于对抗流模型的机械设备无监督故障诊断方法
CN112766342A (zh) 一种电气设备的异常检测方法
CN111709465A (zh) 大坝安全监测数据粗差智能识别方法
CN111665066A (zh) 基于卷积神经网络的设备故障自适应上下预警界生成方法
CN116625683A (zh) 一种风电机组轴承故障识别方法、系统、装置及电子设备
CN113269266B (zh) 多故障模式下基于知识蒸馏的晶圆制造过程故障检测方法
CN112986393B (zh) 一种桥梁拉索损伤的检测方法和系统
CN114462820A (zh) 一种轴承状态监测与健康管理系统性能测试及优化方法和系统
CN112147221B (zh) 基于超声波探伤仪数据的钢轨螺孔裂纹识别方法及系统
CN115063337A (zh) 埋地管道智能维修决策方法及装置
CN112882898A (zh) 基于大数据日志分析的异常检测方法、系统、设备及介质
CN108345289A (zh) 一种基于替代数据法的工业过程平稳性检测方法
WO2023125586A1 (zh) 城市地下燃气泄漏识别模型的训练方法及装置
CN116820821A (zh) 磁盘故障检测方法、装置、电子设备及计算机可读存储介质
CN116189802A (zh) 一种基于气体浓度时序数据的变压器故障预警方法
CN114046816B (zh) 基于轻量级梯度提升决策树的传感器信号故障诊断方法
CN112525336B (zh) 一种机械设备振动连续增长的自动化检测方法
CN113513304A (zh) 一种基于抽油机电功图的平衡度检测方法
CN113221968B (zh) 一种胶带输送机运行状态诊断方法及装置
CN115952064B (zh) 一种面向分布式系统的多组件故障解释方法及装置
TWI771098B (zh) 路側單元之雷達系統之狀態之錯誤診斷系統及方法
KR102321602B1 (ko) 기계의 결함 검출 장치 및 방법
JP6790311B1 (ja) 非定常検出システム、非定常検出方法および非定常検出プログラム
CN116740408A (zh) 一种数据均衡的桥梁数据异常检测方法及装置
CN117523338A (zh) 基于缺陷迁移技术的缺陷检测方法和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant