CN112654982A - 数据处理装置、方法、以及半导体制造装置 - Google Patents

数据处理装置、方法、以及半导体制造装置 Download PDF

Info

Publication number
CN112654982A
CN112654982A CN201980005415.9A CN201980005415A CN112654982A CN 112654982 A CN112654982 A CN 112654982A CN 201980005415 A CN201980005415 A CN 201980005415A CN 112654982 A CN112654982 A CN 112654982A
Authority
CN
China
Prior art keywords
evaluation index
feature
index value
feature amount
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980005415.9A
Other languages
English (en)
Inventor
石黑正贵
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi High Tech Corp
Original Assignee
Hitachi High Technologies Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi High Technologies Corp filed Critical Hitachi High Technologies Corp
Publication of CN112654982A publication Critical patent/CN112654982A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B23/00—Testing or monitoring of control systems or parts thereof
    • G05B23/02—Electric testing or monitoring
    • G05B23/0205—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults
    • G05B23/0218—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults characterised by the fault detection method dealing with either existing or incipient faults
    • G05B23/0221—Preprocessing measurements, e.g. data collection rate adjustment; Standardization of measurements; Time series or signal analysis, e.g. frequency analysis or wavelets; Trustworthiness of measurements; Indexes therefor; Measurements using easily measured parameters to estimate parameters difficult to measure; Virtual sensor creation; De-noising; Sensor fusion; Unconventional preprocessing inherently present in specific fault detection methods like PCA-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/20—Design optimisation, verification or simulation
    • G06F30/27—Design optimisation, verification or simulation using machine learning, e.g. artificial intelligence, neural networks, support vector machines [SVM] or training a model
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B23/00—Testing or monitoring of control systems or parts thereof
    • G05B23/02—Electric testing or monitoring
    • G05B23/0205—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults
    • G05B23/0218—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults characterised by the fault detection method dealing with either existing or incipient faults
    • G05B23/0224—Process history based detection method, e.g. whereby history implies the availability of large amounts of data
    • G05B23/024—Quantitative history assessment, e.g. mathematical relationships between available data; Functions therefor; Principal component analysis [PCA]; Partial least square [PLS]; Statistical classifiers, e.g. Bayesian networks, linear regression or correlation analysis; Neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/18—Complex mathematical operations for evaluating statistical data, e.g. average values, frequency distributions, probability functions, regression analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/211—Selection of the most significant subset of features
    • G06F18/2113—Selection of the most significant subset of features by ranking or filtering the set of features, e.g. using a measure of variance or of feature cross-correlation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F7/00—Methods or arrangements for processing data by operating upon the order or content of the data handled
    • G06F7/22—Arrangements for sorting or merging computer data on continuous record carriers, e.g. tape, drum, disc
    • G06F7/24—Sorting, i.e. extracting data from one or more carriers, rearranging the data in numerical or other ordered sequence, and rerecording the sorted data on the original carrier or on a different carrier or set of carriers sorting methods in general
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L21/00—Processes or apparatus adapted for the manufacture or treatment of semiconductor or solid state devices or of parts thereof
    • H01L21/67—Apparatus specially adapted for handling semiconductor or electric solid state devices during manufacture or treatment thereof; Apparatus specially adapted for handling wafers during manufacture or treatment of semiconductor or electric solid state devices or components ; Apparatus not specifically provided for elsewhere
    • H01L21/67005—Apparatus not specifically provided for elsewhere
    • H01L21/67242—Apparatus for monitoring, sorting or marking
    • H01L21/67276—Production flow monitoring, e.g. for increasing throughput
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2119/00—Details relating to the type or aim of the analysis or the optimisation
    • G06F2119/18—Manufacturability analysis or optimisation for manufacturability
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Hardware Design (AREA)
  • Medical Informatics (AREA)
  • Automation & Control Theory (AREA)
  • Geometry (AREA)
  • Computing Systems (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Power Engineering (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Manufacturing & Machinery (AREA)
  • Operations Research (AREA)
  • Databases & Information Systems (AREA)
  • Algebra (AREA)
  • Probability & Statistics with Applications (AREA)
  • General Factory Administration (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Complex Calculations (AREA)

Abstract

提供消除模型式制成时的过学习抑制与计算负担抑制的此消彼长的数据处理装置。数据处理装置具备记录电子数据的记录部和使用电子数据进行运算的运算部，运算部具备用在运算中的特征量选择部，特征量选择部在特征量选择中具备：第一步骤(S101)，对特征量排位次，从上位的特征量起进行重排；第二步骤(S103)，按照位次来制成多个仅利用一部分特征量的数据群；第三步骤(S104)，使用仅利用一部分特征量的各个数据群来计算成为对回归或分类问题的预测性能进行评价的指标的值；第四步骤(S105)，根据计算出的预测性能指标来删除特征量；和第五步骤(S106)，关于删除的所述特征量以外的特征量，使用预测性能指标来更新特征量的位次，重复进行第二步骤到第五步骤，直到第三步骤中计算出的预测性能指标的最佳的值不再更新为止(S102)。

Description

数据处理装置、方法、以及半导体制造装置
技术领域
本发明涉及数据处理装置、方法以及半导体制造装置，特别涉及数据解析的处理结果的预测技术。
背景技术
在近来的制造业中，有效地正确利用从制造装置得到的数据来提升生产率的机制正受到关注。例如，在半导体制造装置中，如专利文献1公开的那样，利用多元回归分析等方法对处理结果进行预测被广泛利用于过程控制等中。另一方面，在制造工艺高等级化、复杂化的现代制造业中，生产工厂整体中得到的数据达到庞大的量，重要数据和非重要数据的取舍选择在正确利用数据的制造装置的运用中成为必须的课题。例如，在半导体制造装置中，在一个制造装置中配备有超过几十个用于取得数据的传感器的情况也并不少见。另外，在制造工艺所需的时间长的情况下，会蓄积这么多的数据，要处理的数据量变得庞大。
在通常的数据处理中，多数情况下并不是直接使用从传感器的测量得到的时间序列信号，而是使用可良好地表征该信号的特征的特征量、或被称作特点(feature)的值。时间序列信号的平均值、标准偏差值等是特征量之一。虽然通过从时间序列信号提取特征量，能将数据量以某种程度进行压缩，但在该特征量的提取阶段期望提取尽可能多的特征量。但是，在多数情况下，在提取出的特征量之中还存在大量在解析上无意义的特征量，这样的无意义的特征量不仅会招致计算时间增加，还会作为解析中的噪声给解析结果带来不良影响。进而，在用于预测处理结果等的模型式的制成中，随着要使用的特征量变多，在模型式的制成时陷入被称作过学习的欠缺通用性能的状态的可能性会变高。
作为用于抑制过学习的模型式的妥当性的评价指标，广泛已知赤池信息量准则(Akaike Information Criteria：AIC)，例如在专利文献2中公开了利用AIC的重要变量的选择。另外，提出有大量用于从提取出的特征量中选择在解析上可能有意义的特征量的算法。
例如，在非专利文献1中公开了被称作序列前向选择(Sequential ForwardSelection)的利用重复计算的特征量选择方法。该方法是被称作包裹法(wrapper)的特征量选择方法之一。另外，非专利文献2中公开了如下被称作费舍尔准则(Fisher Criterion)的方法：制成特征量的重要度的排序，对应于该排序来选择特征量。该方法是被称作过滤法的特征量选择方法之一。进而，非专利文献3中公开了如下被称作随机森林(RandomForest)的方法：在回归方法中制成特征量的重要度的排序，对应于该排序来选择特征量。该方法是被称作嵌入法的特征量选择方法之一。
现有技术文献
专利文献
专利文献1：JP特开2009-10370号公报
专利文献2：JP特开平7-253966号公报
非专利文献
非专利文献1：P.Pudil，J.Novovicova，and J.Kittler，“Floating searchmethods in feature selection，”Pattern Recognition Letters，vol.15，pp.1119-1125，Nov.1994.
非专利文献2：Sa Wang，Cheng-Lin Liu，and Lian Zheng，“Feature selectionby combining fisher criterion and principal feature analysis，”in Proc.of theSixth International Conference on Machine Learning and Cybernetics，Hong Kong，China，2007，pp.1149-1154.
非专利文献3：Leo Breiman，“Random Forest，”Machine Learning，vol.45，pp.5-32，2001.
发明内容
发明要解决的课题
在上述的包裹法中，在重复计算时需要用于最佳化的评价指标，在过滤法、嵌入法中，需要用于特征量数的最佳化的评价指标。如上述那样，有时在该评价指标中使用AIC。但是，AIC虽然作为用于担保模型的通用性能并抑制过学习的指标是有效的，但即使进行基于利用AIC的评价的最佳化，也有时会陷入过学习。另外，在这样的情况下，虽然作为有效防止过学习的方法有交叉验证法，但交叉验证法在计算上也需要极多的时间。
本发明的目的在于，提供能解决上述那样的课题来消除模型式制成时的过学习抑制与计算负担抑制的此消彼长的数据处理装置、方法以及半导体制造装置。
用于解决课题的手段
为了达成上述目的，在本发明中提供数据处理装置，其使用特征值来求取预测模型，该数据处理装置的特征在于，具备运算装置，该运算装置执行：第一步骤，在将N设为自然数的情况下，将排好位次的N个第一特征量重排成1位到N位的位次；第二步骤，制成N个第一数据群；第三步骤，求取对第一数据群各自的预测性能进行评价的第一评价指标值；第四步骤，根据第一评价指标值来删除第一特征量的一部分；第五步骤，使用第一评价指标值来更新第一特征量之中被删除的特征量以外的特征量即第二特征量的位次；第六步骤，制成与第二特征量的个数相同数目的第二数据群；第七步骤，求取对第二数据群各自的预测性能进行评价的第二评价指标值；和第八步骤，在第一评价指标值的最小值和第二评价指标值的最小值相同的情况下，使用第二特征量来求取预测模型，在第一评价指标值的最小值和第二评价指标值的最小值不同的情况下，根据第二评价指标值来删除第二特征量的一部分并使用第二评价指标值来更新第二特征量之中被删除的特征量以外的特征量即第三特征量的位次，第N个第一数据群具有第一特征量的1位到N位的特征量，在将M设为第二特征量的个数的情况下，第M个第二数据群具有第二特征量的1位到M位的特征量。
另外，为了达成上述目的，在本发明中提供半导体制造装置，其通过使用特征值求得的预测模型来预测处理结果，该半导体制造装置的特征在于，具备控制装置，该控制装置执行：第一步骤，在将N设为自然数的情况下，将排好位次的N个第一特征量重排成1位到N位的位次；第二步骤，制成N个第一数据群；第三步骤，求取对第一数据群各自的预测性能进行评价的第一评价指标值；第四步骤，根据第一评价指标值来删除第一特征量的一部分；第五步骤，使用第一评价指标值来更新第一特征量之中被删除的特征量以外的特征量即第二特征量的位次；第六步骤，制成与第二特征量的个数相同数目的第二数据群；第七步骤，求取对第二数据群各自的预测性能进行评价的第二评价指标值；和第八步骤，在第一评价指标值的最小值和第二评价指标值的最小值相同的情况下，使用第二特征量来求取预测模型，在第一评价指标值的最小值和第二评价指标值的最小值不同的情况下，根据第二评价指标值来删除第二特征量的一部分并使用第二评价指标值来更新第二特征量之中被删除的特征量以外的特征量即第三特征量的位次，第N个第一数据群具有第一特征量的1位到N位的特征量，在将M设为第二特征量的个数的情况下，第M个第二数据群具有第二特征量的1位到M位的特征量。
进而，为了达成上述目的，提供数据处理方法，其使用特征值来求取预测模型，该数据处理方法的特征在于，具有：第一步骤，在将N设为自然数的情况下，将排好位次的N个第一特征量重排成1位到N位的位次；第二步骤，制成N个第一数据群；第三步骤，求取对第一数据群各自的预测性能进行评价的第一评价指标值；第四步骤，根据第一评价指标值来删除第一特征量的一部分；第五步骤，使用第一评价指标值来更新第一特征量之中被删除的特征量以外的特征量即第二特征量的位次；第六步骤，制成与第二特征量的个数相同数目的第二数据群；第七步骤，求取对第二数据群各自的预测性能进行评价的第二评价指标值；和第八步骤，在第一评价指标值的最小值和第二评价指标值的最小值相同的情况下，使用第二特征量来求取预测模型，在第一评价指标值的最小值和第二评价指标值的最小值不同的情况下，根据第二评价指标值来删除第二特征量的一部分并使用第二评价指标值来更新第二特征量之中被删除的特征量以外的特征量即第三特征量的位次，第N个第一数据群具有第一特征量的1位到N位的特征量，在将M设为第二特征量的个数的情况下，第M个第二数据群具有第二特征量的1位到M位的特征量。
发明效果
根据本发明的数据处理装置，可消除模型式制成时的过学习抑制与计算负担抑制的此消彼长。
附图说明
图1是表示实施例1所涉及的特征量选择部中的数据处理动作的流程图的图。
图2是表示实施例1所涉及的基于现有方法的特征量选择中的AIC与特征量数的关系的图表图。
图3是表示在实施例1所涉及的特征量选择部中的特征量选择中在重复步骤中AIC与特征量数的关系不断变化的情形的图表图。
图4是表示将实施例1所涉及的基于现有方法的特征量数、RR预测性能、计算所需时间汇总而成的表的图。
图5是表示将利用实施例1所涉及的特征量选择部中的特征量选择的情况下的特征量数、RR预测性能、计算时间汇总而成的表的图。
具体实施方式
以下，按照附图来依次说明用于实施本发明的方式。另外，在本说明书中，有时将自然数N、M标记为英文字符的小写字母n、m。
实施例1
实施例1是消除模型式制成时的过学习抑制与计算负担抑制的此消彼长的数据处理装置的实施例。即，是如下构成的数据处理装置、方法以及半导体制造装置的实施例，在使用特征值来求取预测模型的数据处理装置中，具备运算装置，其执行：第一步骤，在将N设为自然数的情况下，将排好位次的N个第一特征量重排成1位到N位的位次；第二步骤，制成N个第一数据群；第三步骤，求取对第一数据群各自的预测性能进行评价的第一评价指标值；第四步骤，根据第一评价指标值来删除第一特征量的一部分；第五步骤，使用第一评价指标值来更新第一特征量之中被删除的特征量以外的特征量即第二特征量的位次；第六步骤，制成与第二特征量的个数相同数目的第二数据群；第七步骤，求取对第二数据群各自的预测性能进行评价的第二评价指标值；和第八步骤，在第一评价指标值的最小值和第二评价指标值的最小值相同的情况下，使用第二特征量来求取预测模型，在第一评价指标值的最小值和第二评价指标值的最小值不同的情况下，根据第二评价指标值来删除第二特征量的一部分并使用第二评价指标值来更新第二特征量之中被删除的特征量以外的特征量即第三特征量的位次，第N个第一数据群具有第一特征量的1位到N位的特征量，在将M设为第二特征量的个数的情况下，第M个第二数据群具有第二特征量的1位到M位的特征量。
使用图1到图5来说明实施例1的数据处理装置、方法。本实施例的数据处理装置具备省略图示的记录电子数据的记录部、和对记录的电子数据进行运算的运算部。这样的数据处理装置由于能用以个人计算机(Personal Computer：PC)为代表的通常的计算机来实现，因此省略数据处理装置的图示，其中，该计算机具备：运算电子数据的中央处理器(Central Processing Unit：CPU)；存储电子数据、各种处理程序的存储部；由键盘、显示器构成的输入输出部；和通信接口。
在本实施例的数据处理装置的运算部内部具备能用处理程序实现的特征量选择部。并且，记录于记录部的电子数据存在成为模型式的说明变量的电子数据和成为目的变量的电子数据这两个种类。例如，若是用于制造装置中的加工结果预测的数据处理，则成为说明变量的电子数据就是与制造装置的工作状态相关的数据，成为目的变量的数据就是加工结果的数据
在本实施例中，更具体地，举出半导体制造装置之一的化学机械研磨(ChemicalMechanical Polishing：CMP)装置来作为制造装置。在此，成为说明变量的数据是晶片的旋转速度、浆料的量等加工时的加工条件的监控值、研磨垫片的使用时间等与装置自身的状态相关的数据。相对地，成为目的变量的数据是基于CMP装置中的处理的晶片的研磨量(Removal Rate：RR)。制成的模型式成为根据上述装置数据来预测RR的回归式。
将记录于记录部的装置数据在运算部进行运算，进行明显异常的数据的排除、特征量的提取等解析前处理。若装置数据的采样数增加，则横轴取特征量且纵轴取采样的矩阵的行就会增加。将上述那样的各个采样的特征量排列而成的矩阵称作特征量矩阵。在该特征量矩阵中，在满足移转到解析的所期望的条件的情况下，将特征量矩阵数据以及与特征量矩阵的各采样对应的RR的值的数据送到特征量选择部。在此，移转到解析的条件能举出：特征量矩阵的采样数超过所期望的值；和特征量矩阵中的采样的蓄积期间超过所期望的期间等。
使用被送到特征量选择部的特征量矩阵以及RR的数据，通过图1所示的流程图来进行特征量的选择处理。如上述那样，该选择处理的执行是通过CPU的给定的程序执行来进行的。
在图1的流程图中，在特征量选择部的第1步骤中，首先，使用过滤法之一的费舍尔准则(Fisher Criterion)来制成特征量的重要度、即特征量排序(S101)。
在特征量选择部的第2步骤中，对应于第1步骤中制成的排序(i)来制成仅利用特征量的一部分的数据群。以下，将该数据群记载为子集。
在第2步骤中，制成与特征量的数目相同数目的子集(S103)。在此，第N个子集中所含的特征量成为排序的第1个到第N个的特征量。例如，在所有特征量数是3个的情况下，在第一个子集中仅包含排序为一位的特征量。在第二个子集中包含排序为一位和二位的2个特征量。在第三个子集中包含排序为一位、二位和三位的3个特征量。
在特征量选择部的第3步骤中，对第2步骤中制成的全部子集计算并制成成为对回归或分类问题中的预测性能进行评价的指标的值、即评价指标，也就是模型式评价指标(S104)。在本实施例中，是推测RR的回归问题，作为对预测性能进行评价的指标，采用上述的AIC。在第3步骤中，对全部子集计算各自的AIC。
图2示出在横轴绘制各子集的编号且在纵轴绘制对应的AIC的图表的一例。在本实施例的第4步骤中，根据第3步骤中计算出的AIC来判断、删除不需要的特征量(S105)。对于AIC来说，在图2的图表201中，在子集编号84号处，AIC成为最小。这表示，虽然排序的第1个到第84个特征量对提升预测性能有帮助，但第85个以后的特征量对预测性能的提升没有帮助。因此，在第4步骤中，将与AIC成为最小的子集编号的下一子集编号以后的排序相当的特征量删除。即，在本实施例中，删除排序85位以后的特征量。
在本实施例的特征量选择部的第5步骤中，在第4步骤中剩下的特征量中，以AIC为基准来更新排序(S106)。新的排序由以下的式1所示的重要度差异(significance gap：SG)决定(S107)。
[数学式1]
SG(n)＝AIC(n)-AIC(n-1)
···(式1)
在此，AIC(n)是与第n个子集相关的AIC的值。关于SG(1)，由于不能计算，因此设定比任何SG(n)都小的值。
以下，叙述第5步骤中的SG的意义。第n个子集成为在第n-1个子集中加进排序第n个特征量后得到的集合。因此，SG(n)表征在第n-1个子集中加进第n个特征量所引起的预测性能的提升的程度。因此，该值越小，则第n个特征量所引起的预测性能的提升就越大，就判断为第n个特征量越重要。在第5步骤中，按照SG从小到大的顺序来更新特征量的重要度排序。
在第5步骤结束后，在本实施例中重复进行上述第2步骤到第5步骤(S102)。图3示出通过重复而在各个重复的第3步骤中得到的各子集的AIC的值的图表。可知，通过重复，被选择的特征量不断减少，AIC的最小值也变小，也就是说，预测性能得到提升。
上述第2步骤到第5步骤的重复一致重复到第m次重复中在第3步骤中得到的AIC的最小值与第m-1次重复中在第3步骤中得到的AIC的最小值相等为止。在重复结束后，AIC最低的子集成为由被选择的特征量构成的子集。
使用通过上述过程选择出的特征量子集由运算部制成推测RR的回归模型。该回归模型和特征量子集的信息保存在记录部中。如上述那样，关于用于制成模型的装置数据和RR数据这两种数据，取得所期望的期间或所期望的量的该两种数据，并进行特征量选择来制成模型，一般将这样的步骤称作训练步骤。
相对地，将仅取得装置数据并根据数据进行RR的预测的运用步骤称作测试步骤。在测试步骤中，将新保存在记录部中的数据送到运算部，实施与训练步骤同样的特征量提取等解析前处理。之后，选择与保存在存储部的最佳特征量子集同样的项目的特征量，使用保存在存储部的RR推测回归模型来进行RR的推测。
为了进行本实施例的过学习抑制效果、计算时间抑制效果、RR预测性能的确认，使用RR为已知的数据来进行验证解析。上述验证使用交叉验证法来进行。
图4示出在将已有的特征量选择方法使用在回归问题中的特征量选择的情况下选择出的特征量的数目、成为RR预测性能指标的预测误差指标以及特征量选择所需的时间的表401。另外，这时，使用AIC作为包裹法中的用于特征量选择的性能评价指标。另外，作为过滤法以及包裹法中用于决定最佳的特征量数的指标，也使用AIC。最终的预测性能使用通过交叉验证法求得的均方误差(mean squared error：MSE)。
如图4所示那样，在包裹法的序列前向选择(Sequential Forward Selection)、嵌入法的LASSO中，表征预测性能的MSE成为良好的值，但需要1000秒级别的很长计算时间。关于其他方法，可知MSE的值成为极端差的值，会陷入过学习。
图5示出在将本实施例的特征量选择部中的特征量选择方法使用在同样的回归问题中的特征量选择的情况下选择出的特征量的数目、成为RR预测性能指标的预测误差指标以及特征量选择所需的时间的表501。如表501所示那样，确认到：在与现有方法的过滤法以及一部分嵌入法相同程度的短时间内，可抑制过学习，能得到与现有方法的序列前向选择(Sequential Forward Selection)、LASSO中得到的性能大致同等的性能。
因此，可以说，通过本实施例的数据处理装置，可消除模型式制成时的过学习抑制与计算负担抑制的此消彼长。
通过本发明得到的基于模型式的加工结果的推测值能进行各种利用。例如，可以存在如下系统：在本发明中通过模型式和取得数据得到的加工结果的推测值与所期望的加工值的偏离大于某管理值的情况下，发出警告。另外，也可以存在按照该警告来控制制造装置的加工的控制系统。前述控制可以是停止制造装置的制造工艺那样的控制。另外，也可以是自动变更制造装置的加工条件那样的控制。
以上，基于实施例1具体说明了本发明，但本发明并不限定于实施例1的结构，能在不脱离其要旨的范围内进行各种变更。例如，在实施例1中，以CMP装置为例，但也可以不拘泥于来自CMP装置的数据，而是其他数据。这当中，关于半导体制造装置，多数情况下，一般所使用的传感器非常多，运用方法也复杂，因此也鉴于要提取的特征量变多这一点、难以实时得到成为目的变量的加工结果的数据这一点，半导体制造装置适合作为本发明的应用目的。例如，来自等离子蚀刻装置的数据适合作为在本发明中处理的数据。
例如，对这样的被处理体执行给定的处理的半导体制造装置包含：监控半导体制造装置的状态的传感器；记录基于传感器的输出的半导体制造装置的状态的电子数据的记录部；和使用与半导体制造装置的状态相关的电子数据来进行运算的运算部，运算部具备用在运算中的特征量选择部，特征量选择部在特征量选择中具备：第一步骤，对特征量排位次，从上位的特征量起进行重排；第二步骤，按照位次来制成多个仅利用一部分特征量的数据群；第三步骤，使用仅利用一部分特征量的各个数据群来计算成为对回归或分类问题的预测性能进行评价的指标的值；第四步骤，根据计算出的预测性能指标来删除特征量；和第五步骤，关于删除的特征量以外的特征量，使用预测性能指标来更新特征量的位次，重复进行第二步骤到第五步骤，直到第三步骤中计算的预测性能指标的最佳的值不再更新为止。
换言之，在通过使用特征值求得的预测模型来预测处理结果的半导体制造装置中，具备控制装置，其执行：第一步骤，在将N设为自然数的情况下，将排好位次的N个第一特征量重排成1位到N位的位次；第二步骤，制成N个第一数据群；第三步骤，求取对第一数据群各自的预测性能进行评价的第一评价指标值；第四步骤，根据第一评价指标值来删除第一特征量的一部分；第五步骤，使用第一评价指标值来更新第一特征量之中被删除的特征量以外的特征量即第二特征量的位次；第六步骤，制成与第二特征量的个数相同数目的第二数据群；第七步骤，求取对第二数据群各自的预测性能进行评价的第二评价指标值；和第八步骤，在第一评价指标值的最小值和第二评价指标值的最小值相同的情况下，使用第二特征量来求取预测模型，在第一评价指标值的最小值和第二评价指标值的最小值不同的情况下，根据第二评价指标值来删除第二特征量的一部分并使用第二评价指标值来更新第二特征量之中被删除的特征量以外的特征量即第三特征量的位次，第N个第一数据群具有第一特征量的1位到N位的特征量，在将M设为第二特征量的个数的情况下，第M个第二数据群具有第二特征量的1位到M位的特征量。
另外，本发明中的训练处理中的记录部、运算部、测试处理中的记录部、运算部各自可以存在于单一的硬件内，也可以分散配置于多个硬件。
另外，成为本发明的数据源的制造装置可以是一台，也可以是多台。可以将制成的一个模型式应用在多台制造装置的数据处理中，也可以制成多个模型式，分别应用到不同的制造装置的数据处理中。
进而，运算部中的特征量选择部可以作为硬件而独立。另外，也可以作为运算部整体的硬件内的程序的一部分而存在，还可以不作为硬件而独立。
另外，进一步地，在实施例1中，在第1步骤中通过已有的过滤法来制成排序，但排序的制成方法电可以是已有的过滤法以外的方法。
进而，另外，在实施例1中，在第3步骤中，采用AIC来作为对预测性能进行评价的指标，但该指标也可以是AIC以外的指标。
附图标记说明
201 图表
401、501 表

Claims (10)

1.一种数据处理装置，使用特征值来求取预测模型，所述数据处理装置的特征在于，具备运算装置，所述运算装置执行：
第一步骤，在将N设为自然数的情况下，将排好位次的N个第一特征量重排成1位到N位的位次；
第二步骤，制成N个第一数据群；
第三步骤，求取对所述第一数据群各自的预测性能进行评价的第一评价指标值；
第四步骤，根据所述第一评价指标值来删除所述第一特征量的一部分；
第五步骤，使用所述第一评价指标值来更新所述第一特征量之中被删除的所述特征量以外的特征量即第二特征量的位次；
第六步骤，制成与所述第二特征量的个数相同数目的第二数据群；
第七步骤，求取对所述第二数据群各自的预测性能进行评价的第二评价指标值；和
第八步骤，在所述第一评价指标值的最小值和所述第二评价指标值的最小值相同的情况下，使用所述第二特征量来求取预测模型，在所述第一评价指标值的最小值和所述第二评价指标值的最小值不同的情况下，根据所述第二评价指标值来删除所述第二特征量的一部分并使用所述第二评价指标值来更新所述第二特征量之中被删除的所述特征量以外的特征量即第三特征量的位次，
第N个所述第一数据群具有所述第一特征量的1位到所述N位的特征量，
在将M设为所述第二特征量的个数的情况下，第M个所述第二数据群具有所述第二特征量的1位到M位的特征量。
2.根据权利要求1所述的数据处理装置，其特征在于，
所述第一评价指标值是使用AIC求得的值。
3.根据权利要求1所述的数据处理装置，其特征在于，
在所述第五步骤中，使用从与所述第N个所述第一数据群对应的所述第一评价指标值减去与第(N-1)个所述第一数据群对应的所述第一评价指标值后得到的值来更新所述第二特征量的位次。
4.一种半导体制造装置，通过使用特征值求得的预测模型来预测处理结果，所述半导体制造装置的特征在于，具备控制装置，所述控制装置执行：
第一步骤，在将N设为自然数的情况下，将排好位次的N个第一特征量重排成1位到N位的位次；
第二步骤，制成N个第一数据群；
第三步骤，求取对所述第一数据群各自的预测性能进行评价的第一评价指标值；
第四步骤，根据所述第一评价指标值来删除所述第一特征量的一部分；
第五步骤，使用所述第一评价指标值来更新所述第一特征量之中被删除的所述特征量以外的特征量即第二特征量的位次；
第六步骤，制成与所述第二特征量的个数相同数目的第二数据群；
第七步骤，求取对所述第二数据群各自的预测性能进行评价的第二评价指标值；和
第八步骤，在所述第一评价指标值的最小值和所述第二评价指标值的最小值相同的情况下，使用所述第二特征量来求取预测模型，在所述第一评价指标值的最小值和所述第二评价指标值的最小值不同的情况下，根据所述第二评价指标值来删除所述第二特征量的一部分并使用所述第二评价指标值来更新所述第二特征量之中被删除的所述特征量以外的特征量即第三特征量的位次，
第N个所述第一数据群具有所述第一特征量的1位到所述N位的特征量，
在将M设为所述第二特征量的个数的情况下，第M个所述第二数据群具有所述第二特征量的1位到M位的特征量。
5.根据权利要求4所述的半导体制造装置，其特征在于，
所述第一评价指标值是使用AIC求得的值。
6.根据权利要求4所述的半导体制造装置，其特征在于，
在所述第五步骤中，使用从与所述第N个所述第一数据群对应的所述第一评价指标值减去与第(N-1)个所述第一数据群对应的所述第一评价指标值后得到的值来更新所述第二特征量的位次。
7.根据权利要求4～6中任一项所述的半导体制造装置，其特征在于，
所述预测模型对等离子处理装置的等离子处理结果进行预测。
8.一种数据处理方法，使用特征值来求取预测模型，所述数据处理方法的特征在于，具有：
第一步骤，在将N设为自然数的情况下，将排好位次的N个第一特征量重排成1位到N位的位次；
第二步骤，制成N个第一数据群；
第三步骤，求取对所述第一数据群各自的预测性能进行评价的第一评价指标值；
第四步骤，根据所述第一评价指标值来删除所述第一特征量的一部分；
第五步骤，使用所述第一评价指标值来更新所述第一特征量之中被删除的所述特征量以外的特征量即第二特征量的位次；
第六步骤，制成与所述第二特征量的个数相同数目的第二数据群；
第七步骤，求取对所述第二数据群各自的预测性能进行评价的第二评价指标值；和
第八步骤，在所述第一评价指标值的最小值和所述第二评价指标值的最小值相同的情况下，使用所述第二特征量来求取预测模型，在所述第一评价指标值的最小值和所述第二评价指标值的最小值不同的情况下，根据所述第二评价指标值来删除所述第二特征量的一部分并使用所述第二评价指标值来更新所述第二特征量之中被删除的所述特征量以外的特征量即第三特征量的位次，
第N个所述第一数据群具有所述第一特征量的1位到所述N位的特征量，
在将M设为所述第二特征量的个数的情况下，第M个所述第二数据群具有所述第二特征量的1位到M位的特征量。
9.根据权利要求8所述的数据处理方法，其特征在于，
所述第一评价指标值是使用AIC求得的值。
10.根据权利要求8所述的数据处理方法，其特征在于，
在所述第五步骤中，使用从与所述第N个所述第一数据群对应的所述第一评价指标值减去与第(N-1)个所述第一数据群对应的所述第一评价指标值后得到的值来更新所述第二特征量的位次。
CN201980005415.9A 2019-07-26 2019-07-26 数据处理装置、方法、以及半导体制造装置 Pending CN112654982A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2019/029408 WO2020115943A1 (ja) 2019-07-26 2019-07-26 データ処理装置、方法、及び半導体製造装置

Publications (1)

Publication Number Publication Date
CN112654982A true CN112654982A (zh) 2021-04-13

Family

ID=70974163

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980005415.9A Pending CN112654982A (zh) 2019-07-26 2019-07-26 数据处理装置、方法、以及半导体制造装置

Country Status (6)

Country Link
US (1) US11531848B2 (zh)
JP (1) JP6990768B2 (zh)
KR (1) KR102315074B1 (zh)
CN (1) CN112654982A (zh)
TW (1) TWI751540B (zh)
WO (1) WO2020115943A1 (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07253966A (ja) * 1994-01-28 1995-10-03 Mitsubishi Electric Corp 交互作用分析モデル式作成装置及び交互作用分析モデル式作成方法及びデータ解析装置
US20090265291A1 (en) * 2008-04-20 2009-10-22 Yoshiyuki Kobayashi Information Processing Device and Method, and Program
CN101835421A (zh) * 2007-11-01 2010-09-15 欧姆龙株式会社 特征量候选生成装置和特征量候选生成方法
CN107533672A (zh) * 2015-05-11 2018-01-02 株式会社东芝 模式识别装置、模式识别方法以及程序
CN109460825A (zh) * 2018-10-24 2019-03-12 阿里巴巴集团控股有限公司 用于构建机器学习模型的特征选取方法、装置以及设备
CN109508558A (zh) * 2018-10-31 2019-03-22 阿里巴巴集团控股有限公司 一种数据有效性的验证方法和装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4836994B2 (ja) 2008-06-11 2011-12-14 株式会社日立製作所 半導体処理装置
US8630890B2 (en) * 2008-12-03 2014-01-14 At&T Intellectual Property I, L.P. Product migration analysis using data mining by applying a time-series mathematical model
KR102189311B1 (ko) * 2018-08-21 2020-12-09 두산중공업 주식회사 학습된 모델을 이용한 해석 장치 및 이를 위한 방법
US10826932B2 (en) * 2018-08-22 2020-11-03 General Electric Company Situation awareness and dynamic ensemble forecasting of abnormal behavior in cyber-physical system

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07253966A (ja) * 1994-01-28 1995-10-03 Mitsubishi Electric Corp 交互作用分析モデル式作成装置及び交互作用分析モデル式作成方法及びデータ解析装置
CN101835421A (zh) * 2007-11-01 2010-09-15 欧姆龙株式会社 特征量候选生成装置和特征量候选生成方法
US20090265291A1 (en) * 2008-04-20 2009-10-22 Yoshiyuki Kobayashi Information Processing Device and Method, and Program
CN107533672A (zh) * 2015-05-11 2018-01-02 株式会社东芝 模式识别装置、模式识别方法以及程序
CN109460825A (zh) * 2018-10-24 2019-03-12 阿里巴巴集团控股有限公司 用于构建机器学习模型的特征选取方法、装置以及设备
CN109508558A (zh) * 2018-10-31 2019-03-22 阿里巴巴集团控股有限公司 一种数据有效性的验证方法和装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
涂吉屏等: "使用EBIC的软件故障特征选择方法", 《计算机科学与探索》, vol. 14, no. 2, pages 215 - 235 *

Also Published As

Publication number Publication date
JP6990768B2 (ja) 2022-01-12
US20210027108A1 (en) 2021-01-28
KR102315074B1 (ko) 2021-10-21
US11531848B2 (en) 2022-12-20
TWI751540B (zh) 2022-01-01
WO2020115943A1 (ja) 2020-06-11
JPWO2020115943A1 (ja) 2021-02-15
TW202105106A (zh) 2021-02-01
KR20210013540A (ko) 2021-02-04

Similar Documents

Publication Publication Date Title
Meidan et al. Cycle-time key factor identification and prediction in semiconductor manufacturing using machine learning and data mining
JP6545728B2 (ja) 異常検知装置、異常検知方法、および異常検知プログラム
CN112508243B (zh) 电力信息系统多故障预测网络模型的训练方法及装置
CN110119787B (zh) 一种旋转型机械设备工况检测方法及设备
US8560279B2 (en) Method of determining the influence of a variable in a phenomenon
JP2008059601A (ja) 双峰性データを判別する方法
JP7276488B2 (ja) 推定プログラム、推定方法、情報処理装置、再学習プログラムおよび再学習方法
CN110690995A (zh) 一种基于多变量时间序列预测的鲁棒性异常检测方法和设备
JP2020042519A (ja) 異常検知装置、異常検知方法、及び異常検知プログラム
JPWO2018211721A1 (ja) 異常情報推定装置、異常情報推定方法及びプログラム
CN112000081A (zh) 基于多块信息提取和马氏距离的故障监测方法及系统
CN110543869A (zh) 滚珠丝杠寿命预测方法、装置、计算机设备及存储介质
CN112182056A (zh) 一种数据检测方法、装置、设备及存储介质
CN114418146A (zh) 基于规则引擎的机电设备故障诊断方法、系统及终端
CN112654982A (zh) 数据处理装置、方法、以及半导体制造装置
JP7400819B2 (ja) 予測装置、予測方法、及び予測プログラム
CN111311318A (zh) 用户流失预警的方法、装置、设备及存储介质
Eker et al. State-based prognostics with state duration information of cracks in structures
KR20230075150A (ko) 시스템 건전성을 관리하기 위한 방법 및 장치
JP4230890B2 (ja) モデル同定装置，モデル同定プログラム及びモデル同定装置の動作方法
Meidan et al. Data mining for cycle time key factor identification and prediction in semiconductor manufacturing
CN112257754B (zh) 航天器运行状态的分析方法和装置
CN107808830B (zh) 一种多光刻层电性参数相关性分析系统和分析方法
JP2008299486A (ja) データ削除装置並びにデータ削除のための方法およびプログラム
TWI564740B (zh) 互斥與完備集合的特徵選擇方法、電腦程式產品

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination