CN109325059A - 一种数据比较方法及装置 - Google Patents
一种数据比较方法及装置 Download PDFInfo
- Publication number
- CN109325059A CN109325059A CN201811463981.8A CN201811463981A CN109325059A CN 109325059 A CN109325059 A CN 109325059A CN 201811463981 A CN201811463981 A CN 201811463981A CN 109325059 A CN109325059 A CN 109325059A
- Authority
- CN
- China
- Prior art keywords
- data
- distribution
- sample
- sample data
- examined
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 97
- 238000009826 distribution Methods 0.000 claims abstract description 135
- 230000000052 comparative effect Effects 0.000 claims abstract description 41
- 238000013459 approach Methods 0.000 claims abstract description 36
- 238000001514 detection method Methods 0.000 claims abstract description 31
- 238000012407 engineering method Methods 0.000 claims abstract description 16
- 230000007717 exclusion Effects 0.000 claims abstract description 12
- 238000010835 comparative analysis Methods 0.000 claims abstract description 7
- 238000013480 data collection Methods 0.000 claims abstract description 6
- 238000007689 inspection Methods 0.000 claims description 19
- 238000012360 testing method Methods 0.000 claims description 19
- 206010021703 Indifference Diseases 0.000 claims description 10
- 238000000692 Student's t-test Methods 0.000 claims description 5
- 230000032683 aging Effects 0.000 claims description 5
- 238000000540 analysis of variance Methods 0.000 claims description 5
- 238000005192 partition Methods 0.000 claims description 5
- 238000012353 t test Methods 0.000 claims description 5
- 238000003070 Statistical process control Methods 0.000 claims description 4
- 238000007418 data mining Methods 0.000 claims description 4
- 239000004744 fabric Substances 0.000 claims description 4
- 235000013399 edible fruits Nutrition 0.000 claims description 3
- 239000000523 sample Substances 0.000 description 108
- 238000004519 manufacturing process Methods 0.000 description 6
- 238000001793 Wilcoxon signed-rank test Methods 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 4
- 238000013450 outlier detection Methods 0.000 description 4
- 239000004065 semiconductor Substances 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 238000007405 data analysis Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 239000000047 product Substances 0.000 description 2
- 238000012827 research and development Methods 0.000 description 2
- 239000004575 stone Substances 0.000 description 2
- 230000002411 adverse Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 239000007795 chemical reaction product Substances 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000013400 design of experiment Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000009792 diffusion process Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 238000005530 etching Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000013401 experimental design Methods 0.000 description 1
- 238000009472 formulation Methods 0.000 description 1
- 238000002955 isolation Methods 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000001259 photo etching Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 235000015170 shellfish Nutrition 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/243—Classification techniques relating to the number of classes
- G06F18/2433—Single-class perspective, e.g. one-against-all classification; Novelty detection; Outlier detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
- G06Q10/06393—Score-carding, benchmarking or key performance indicator [KPI] analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
- G06Q10/06395—Quality analysis or management
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/04—Manufacturing
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Business, Economics & Management (AREA)
- Engineering & Computer Science (AREA)
- Human Resources & Organizations (AREA)
- Strategic Management (AREA)
- Economics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Entrepreneurship & Innovation (AREA)
- Educational Administration (AREA)
- Development Economics (AREA)
- Physics & Mathematics (AREA)
- Marketing (AREA)
- General Business, Economics & Management (AREA)
- Tourism & Hospitality (AREA)
- Game Theory and Decision Science (AREA)
- Quality & Reliability (AREA)
- Operations Research (AREA)
- Data Mining & Analysis (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- General Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Manufacturing & Machinery (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Primary Health Care (AREA)
- Complex Calculations (AREA)
Abstract
本发明提供了一种数据比较方法及装置，应用于半导体行业日常数据的比较分析，包括样本数据收集，异常值检测与排除，工程指标核验，判断是否已知当前总体样本数据分布类型，总体样本数据分布类型检测，进行参数比较方法，进行非参数统计比较方法，进行工程方法判定等过程。本发明提供了一套完备的试用范围广的数据比较方法及装置，用来指导半导体行业日常数据比较分析实践。
Description
技术领域
本发明涉及半导体技术领域，特别涉及一种数据比较方法及装置。
背景技术
半导体制造作为现代工业中最为复杂的工艺流程之一，其包含成上百道复杂的工艺步骤，包括光刻、刻蚀、薄膜、扩散和清洁等。实现这些复杂的工艺步骤自然需要成百上千种机台共同努力。由于产能所限，对于每一步工艺流程不可能仅由同一机台完成，不同型号的机台，甚至是同型号机台都不可避免的存在偏差，这些势必会对最终产品质量和可靠性造成波动和影响。如何比较鉴定相同类型机台的一致性，保障生产稳定，成为机台匹配(Tool Match)的困扰之一。
在半导体器件研发中，需要通过实验设计(Design of Experiment,DOE)做多个实验组来相互比对，挑选最佳实验条件，确定最终配方(recipe)。这就需要收集在线(inline)数据，缺陷(defect)数据，晶圆验收测试(wafer acceptance test，WAT)数据、良率(yield)数据以及可靠性数据等，然后对各个实验组的电学参数、特征尺寸、寿命等方面进行比较。如何鉴定识别出最优配方，成为研发过程中不可避免的难题。
产品量产以后，如进行工程变更提议(Fab Engineering Change Proposal)来优化改进某一步工艺过程，也同样需要依据线上(inline)和线下(offline)的测试数据来比较实验组和基准组之间的差异。通过比较实验组和基准组的优劣来确定新的工艺条件。
由此可见，数据比较伴随着整个集成电路制造过程中，然而不同环节的数据比较，由于其数据类型、样本容量、数据分布、异常值的影响等各方面各不相同，对比较方法的选择也有所挑剔。因此，比较方法的正确与否，决定这整个产品线的各个方面。总之，为了加速研发保证顺利生产，迫切需要一套完备精确的评价方法来指导工程实践。
发明内容
针对现有技术的不足，本发明提供了一套完备的试用范围广的数据比较方法及装置，用来指导半导体行业日常数据比较分析实践。
本发明提供了一种数据比较方法，应用于半导体行业日常数据的比较分析，其特征在于，包括以下步骤：
步骤一：样本数据收集；
步骤二：异常值检测与排除；
步骤三：工程指标核验，如果核验结果不通过，则当前样本数据不可接受，如果核验结果通过，则转到步骤四；
步骤四：判断是否已知当前总体样本数据分布类型，如果是，则转到步骤五，如果否，则转到步骤六；
步骤五：进行参数比较方法，如果通过，则当前样本数据是可接受的，如果不通过，则转到步骤七；
步骤六：进行总体样本数据分布类型检测，若所述分布类型检测通过，则转到步骤五，若所述分布类型检测不通过，则转到步骤八；
步骤七：进行工程方法判定，如果不通过，则当前样本数据是不可接受的，如果通过，则当前数据是可接受的；
步骤八：进行非参数统计比较方法，如果通过，则当前样本数据是可接受的，如果不通过，则转到步骤七。
进一步地，在所述步骤二中，所述异常值检测和排除是通过统计学概率判定或数据挖掘算法鉴别不合常理的数据的过程。所述异常值检测和排除可以采用如下方法中的任一种：箱线图法、Grubbs'检验、Tietjen-Moore检验、广义极端学生化偏差法、基于距离的离群点检测技术、基于密度的聚类算法、采用空间划分策略的异常值检测。
进一步地，在所述步骤三中，所述工程指标核验包括趋势图、统计过程控制设定的界限、工艺允许的容错范围、良率指标和可靠性规定的寿命指标中的一种或多种。
进一步地，在所述步骤四中，判断是否已知当前总体样本数据分布类型，是基于历史经验、物理模型得到的，包括正态分布、对数正态分布、威布尔分布、泊松分布或指数分布中的一种或多种。
进一步地，在所述步骤六中，所述分布类型检测是通过分布拟合程度检验，根据贝叶斯信息准则判定，验证正态分布使用Shapiro-Wilk检验，验证对数正态分布使用Kolmogorov’s D检验，验证威布尔分布使用Cramer-von Mises W2检验。
进一步地，在所述步骤五中，所述参数比较方法是指在所述总体样本数据分布类型已知的情况下，对总体样本数据分布的参数等进行推断的方法。当所述总体样本数据分布类型为正态分布时，若数据样本分组为1，当样本容量为5～50，采用T检验，当样本容量大于50，采用HC2方法；若数据样本分组为2，当样本容量大于50，则采用HC1/HC2方法；若样本容量在5～50，比较两组样本间的关系，若两组样本相互独立，则采用F/T检验，若两组样本要进行配对检验，则使用paired T检验；对于数据样本分组大于或等于3，则根据需要比较的统计量选择合适的方法，若要比较方差，可使用Bartlett检验，若要进行比较均值，则根据比较类型选择，若进行与控制组比较有无差异，可使用Dunnett’s检验，若要进行两两比较差异，则可使用Tukey’s检验，若要判断任意一组样本有无差异，可使用ANOVA检验。
进一步地，在所述步骤八中，所述非参数统计比较方法指在推断过程中不涉及有关总体样本数据分布的参数，对于非参数两样本t检验可以采用非配对Mann-Whitney U检验，对于两个相关或配对样本检验可以采用Wilcoxon符号秩检验，对于三个或更多总体是否相同的检验，可以采用如Kruskal-Waillis检验。
进一步地，在所述步骤七中，当所述总体样本数据分布类型为正态分布时，所述工程判定方法可以采用HC比较法或MR比较法；当所述总体样本数据分布类型不确定时，所述工程判定方法可以采用GDC比较方法。
本发明提供了一种数据比较装置，应用于半导体行业日常数据的比较分析，其特征在于，包括：
数据收集单元，用于收集样本数据；
异常值检测单元，用于进行异常值的检测与排除；
工程指标核验单元，用于进行工程指标核验，如果核验结果不通过，则当前样本数据不可接受，如果核验结果通过，则转到数据分布判断单元；
数据分布判断单元，用于判断是否已知当前总体样本数据分布类型，如果是，则转到参数比较单元，如果否，则转到数据分布检测单元；
参数比较单元，用于进行参数比较方法，如果通过，则当前样本数据是可接受的，如果不通过，则转到工程方法判定单元；
数据分布检测单元，进行总体样本数据分布类型检测，若所述分布类型检测通过，则转到参数比较单元，若所述分布类型检测不通过，则转到工程方法判定单元；
工程方法判定单元，进行工程方法判定，如果不通过，则当前样本数据是不可接受的，如果通过，则当前数据是可接受的；
非参数比较单元，进行非参数统计比较方法，如果通过，则当前样本数据是可接受的，如果不通过，则转到工程方法判定单元。
进一步地，在所述异常值检测单元，所述异常值检测和排除是通过统计学概率判定或数据挖掘算法鉴别不合常理的数据的过程。所述异常值检测和排除可以采用如下方法中的任一种：箱线图法、Grubbs'检验、Tietjen-Moore检验、广义极端学生化偏差法、基于距离的离群点检测技术、基于密度的聚类算法、采用空间划分策略的异常值检测。
进一步地，在所述工程指标核验单元，所述工程指标核验包括趋势图、统计过程控制设定的界限、工艺允许的容错范围、良率指标和可靠性规定的寿命指标中的一种或多种。
进一步地，在所述数据分布判断单元，判断是否已知当前总体样本数据分布类型，是基于历史经验、物理模型得到的，包括正态分布、对数正态分布、威布尔分布、泊松分布或指数分布中的一种或多种。
进一步地，在所述数据分布检测单元，所述分布类型检测是通过分布拟合程度检验，根据贝叶斯信息准则判定，验证正态分布使用Shapiro-Wilk检验，验证对数正态分布使用Kolmogorov’s D检验，验证威布尔分布使用Cramer-von Mises W2检验。
进一步地，在所述参数比较单元，所述参数比较方法是指在所述总体样本数据分布类型已知的情况下，对总体样本数据分布的参数等进行推断的方法。当所述总体样本数据分布类型为正态分布时，若样本数据分组为1，当样本容量为5～50，采用T检验，当样本容量大于50，采用HC2方法；若样本数据分组为2，当样本容量大于50，则采用HC1/HC2方法；若样本容量在5～50，比较两组样本间的关系，若两组样本相互独立，则采用F/T检验，若两组样本要进行配对检验，则使用paired T检验；对于样本数据分组大于或等于3，则根据需要比较的统计量选择合适的方法，若要比较方差，可使用Bartlett检验，若要进行比较均值，则根据比较类型选择，若进行与控制组比较有无差异，可使用Dunnett’s检验，若要进行两两比较差异，则可使用Tukey’s检验，若要判断任意一组样本有无差异，可使用ANOVA检验。
进一步地，在所述非参数比较单元，所述非参数统计比较方法指在推断过程中不涉及有关总体样本数据分布的参数，对于非参数两样本t检验可以采用非配对Mann-Whitney U检验，对于两个相关或配对样本检验可以采用Wilcoxon符号秩检验，对于三个或更多总体是否相同的检验，可以采用如Kruskal-Waillis检验。
进一步地，在所述工程方法判定单元，当所述总体样本数据分布类型为正态分布时，所述工程判定方法可以采用HC比较法或MR比较法；当所述总体样本数据分布类型不确定时，所述工程判定方法可以采用GDC比较方法。
与现有技术相比，本发明具有以下优点：
本发明提供了一套完备的试用范围广的数据比较方法及装置，用来指导半导体行业日常数据比较分析实践。本发明提出的方法具有广泛的适用性，可应用在线数据分析、缺陷数据分析、晶圆验收测试数据分析、良率数据分析、可靠性数据分析以及机台匹配、校验和释放等。当然本发明提出的比较方法及装置，也可不限于半导体行业。
附图说明
图1为本发明提出的数据比较方法的流程图；
图2为参数比较方法的具体实施流程；
图3为本发明提出的数据比较装置的示意图；
具体实施方式
下面结合附图与和具体实施例，对本发明的技术方案做进一步详细说明。
如图1所示为本发明提出的数据比较方法的流程图，包括以下步骤：
步骤一：样本数据收集；
步骤二：异常值检测与排除；
步骤三：工程指标核验，如果核验结果不通过，则当前样本数据不可接受，如果核验结果通过，则转到步骤四；
步骤四：判断是否已知当前总体样本数据分布类型，如果是，则转到步骤五，如果否，则转到步骤六；
步骤五：进行参数比较方法，如果通过，则当前样本数据是可接受的，如果不通过，则转到步骤七；
步骤六：进行总体样本数据分布类型检测，若所述分布类型检测通过，则转到步骤五，若所述分布类型检测不通过，则转到步骤八；
步骤七：进行工程方法判定，如果不通过，则当前样本数据是不可接受的，如果通过，则当前数据是可接受的；
步骤八：进行非参数统计比较方法，如果通过，则当前样本数据是可接受的，如果不通过，则转到步骤七。
进一步地，在所述步骤二中，“异常点检测与排除(outlier detection&elimination)”通过统计学概率判定或数据挖掘算法鉴别不合常理的数据的过程，忽视异常值的存在是十分危险的，不加剔除地把异常值包含于数据的计算分析过程中，对结果会产生不良影响，重视异常值的出现，分析其产生的原因，常常成为发现问题而改进决策的契机。具体实施可使用，箱线图(boxplot)法、Grubbs'检验、Tietjen-Moore检验、广义极端学生化偏差(Generalized Extreme Studentized Deviate)、基于距离的离群点检测技术(如KNN)、基于密度的聚类算法(如Density Based Spatial Clustering of Applicationswith Noise)、采用空间划分策略的异常值检测(如Isolation Forest)等等。
进一步地，在所述步骤三中，所述“工程指标核验”进一步包括趋势图(TrendChart)或统计过程控制(SPC)设定的界限、工艺允许的容错范围、良率指标及可靠性规定的寿命指标等，当然不局限于以上罗列。
进一步地，在所述步骤四中，判断是否已知当前总体样本数据分布类型，是基于历史经验、物理模型得到的，包括正态分布、对数正态分布、威布尔分布、泊松分布或指数分布等，当然不局限于以上罗列。
进一步地，在所述步骤六中，所述分布类型检测是通过分布拟合程度测试(Distribution Goodness of Fit)可以根据贝叶斯信息准则(Bayesian InformationCriteria)判断得到。具体实施可比如，验证正态分布使用Shapiro-Wilk检验、验证对数正态分布使用Kolmogorov’s D检验、威布尔分布使用Cramer-von Mises W2检验等，当然不局限于以上罗列。
进一步地，在所述步骤五中，所述参数比较方法是指在所述总体样本数据分布类型已知的情况下，对总体样本数据分布的参数等进行推断的方法所述参数比较方法是指根据总体样本的分布类型选择合宜的方法，譬如对于正态分布，可具体细化为图2中流程图。当所述总体样本数据分布类型为正态分布时，若数据样本分组为1，当样本容量为5～50，采用T检验，当样本容量大于50，采用HC2方法；若数据样本分组为2，当样本容量大于50，则采用HC1/HC2方法；若样本容量在5～50，比较两组样本间的关系，若两组样本相互独立，则采用F/T检验，若两组样本要进行配对检验，则使用paired T检验；对于数据样本分组大于或等于3，则根据需要比较的统计量选择合适的方法，若要比较方差，可使用Bartlett检验，若要进行比较均值，则根据比较类型选择，若进行与控制组比较有无差异，可使用Dunnett’s检验，若要进行两两比较差异，则可使用Tukey’s检验，若要判断任意一组样本有无差异，可使用ANOVA检验。
进一步地，在所述步骤八中，所述非参数统计比较方法指在推断过程中不涉及有关总体样本数据分布的参数，对于非参数两样本t检验可以采用非配对Mann-Whitney U检验，对于两个相关或配对样本检验可以采用Wilcoxon符号秩检验，对于三个或更多总体是否相同的检验，可以采用如Kruskal-Waillis检验等。
进一步地，在所述步骤七中，当所述总体样本数据分布类型为正态分布，所述工程判定方法可采用如HC比较方法(Harmonization Confidence)，利用两个样本的均值和标准差估计两个总体的相似度，以相识度(重合面积)的多少来判断两者分布是否存在差异；所述工程判定方法还可采用MR比较方法(Matching Rule)，用于两样本比较，其中一个样本为基准Baseline下，根据两样本均值和标准差可以分别得出样本均值和标准差与基准偏离程度，根据工程接受度来判读比较结果。当所述总体样本数据分布类型不确定的，可采用如GDC比较方法(General Data Comparison)，利用两个样本的分位数作代表区间，以相似度(重合面积)的多少来判断两者分布是否存在差异。
如图3所示为本发明提出的数据比较装置的示意图，包括：
数据收集单元，用于收集样本数据；
异常值检测单元，用于进行异常值的检测与排除；
工程指标核验单元，用于进行工程指标核验，如果核验结果不通过，则当前样本数据不可接受，如果核验结果通过，则转到数据分布判断单元；
数据分布判断单元，用于判断是否已知当前总体样本数据分布类型，如果是，则转到参数比较单元，如果否，则转到数据分布检测单元；
参数比较单元，用于进行参数比较方法，如果通过，则当前样本数据是可接受的，如果不通过，则转到工程方法判定单元；
数据分布检测单元，进行总体样本数据分布类型检测，若所述分布类型检测通过，则转到参数比较单元，若所述分布类型检测不通过，则转到工程方法判定单元；
工程方法判定单元，进行工程方法判定，如果不通过，则当前样本数据是不可接受的，如果通过，则当前数据是可接受的；
非参数比较单元，进行非参数统计比较方法，如果通过，则当前样本数据是可接受的，如果不通过，则转到工程方法判定单元。
进一步地，在所述异常值检测单元，所述异常值检测和排除是通过统计学概率判定或数据挖掘算法鉴别不合常理的数据的过程。所述异常值检测和排除可以采用如下方法中的任一种：箱线图法、Grubbs'检验、Tietjen-Moore检验、广义极端学生化偏差法、基于距离的离群点检测技术、基于密度的聚类算法、采用空间划分策略的异常值检测。
进一步地，在所述工程指标核验单元，所述工程指标核验包括趋势图、统计过程控制设定的界限、工艺允许的容错范围、良率指标和可靠性规定的寿命指标中的一种或多种。
进一步地，在所述数据分布判断单元，判断是否已知当前总体样本数据分布类型，是基于历史经验、物理模型得到的，包括正态分布、对数正态分布、威布尔分布、泊松分布或指数分布中的一种或多种。
进一步地，在所述数据分布检测单元，所述分布类型检测是通过分布拟合程度检验，根据贝叶斯信息准则判定，验证正态分布使用Shapiro-Wilk检验，验证对数正态分布使用Kolmogorov’s D检验，验证威布尔分布使用Cramer-von Mises W2检验。
进一步地，在所述参数比较单元，所述参数比较方法是指在所述总体样本数据分布类型已知的情况下，对总体样本数据分布的参数等进行推断的方法所述参数比较方法是指根据总体样本的分布类型选择合宜的方法，譬如对于正态分布，可具体细化为图2中流程图。当所述总体样本数据分布类型为正态分布时，若数据样本分组为1，当样本容量为5～50，采用T检验，当样本容量大于50，采用HC2方法；若数据样本分组为2，当样本容量大于50，则采用HC1/HC2方法；若样本容量在5～50，比较两组样本间的关系，若两组样本相互独立，则采用F/T检验，若两组样本要进行配对检验，则使用paired T检验；对于数据样本分组大于或等于3，则根据需要比较的统计量选择合适的方法，若要比较方差，可使用Bartlett检验，若要进行比较均值，则根据比较类型选择，若进行与控制组比较有无差异，可使用Dunnett’s检验，若要进行两两比较差异，则可使用Tukey’s检验，若要判断任意一组样本有无差异，可使用ANOVA检验。
进一步地，在所述非参数比较单元，所述非参数统计比较方法指在推断过程中不涉及有关总体样本数据分布的参数，对于非参数两样本t检验可以采用非配对Mann-Whitney U检验，对于两个相关或配对样本检验可以采用Wilcoxon符号秩检验，对于三个或更多总体是否相同的检验，可以采用如Kruskal-Waillis检验。
进一步地，在所述工程方法判定单元，当所述总体样本数据分布类型为正态分布，所述工程判定方法可采用如HC比较方法(Harmonization Confidence)，利用两个样本的均值和标准差估计两个总体的相似度，以相识度(重合面积)的多少来判断两者分布是否存在差异；所述工程判定方法还可采用MR比较方法(Matching Rule)，用于两样本比较，其中一个样本为基准Baseline下，根据两样本均值和标准差可以分别得出样本均值和标准差与基准偏离程度，根据工程接受度来判读比较结果。当所述总体样本数据分布类型不确定的，可采用如GDC比较方法(General Data Comparison)，利用两个样本的分位数作代表区间，以相似度(重合面积)的多少来判断两者分布是否存在差异。
显然，本领域的技术人员可以对本发明进行各种改动而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本法明也意图包括这些改动和变型在内。
Claims (10)
1.一种数据比较方法，应用于半导体行业日常数据的比较分析，其特征在于，包括以下步骤：
步骤一：样本数据收集；
步骤二：异常值检测与排除；
步骤三：工程指标核验，如果核验结果不通过，则当前样本数据不可接受，如果核验结果通过，则转到步骤四；
步骤四：判断是否已知当前总体样本数据分布类型，如果是，则转到步骤五，如果否，则转到步骤六；
步骤五：进行参数比较方法，如果通过，则当前样本数据是可接受的，如果不通过，则转到步骤七；
步骤六：进行总体样本数据分布类型检测，若所述分布类型检测通过，则转到步骤五，若所述分布类型检测不通过，则转到步骤八；
步骤七：进行工程方法判定，如果不通过，则当前样本数据是不可接受的，如果通过，则当前数据是可接受的；
步骤八：进行非参数统计比较方法，如果通过，则当前样本数据是可接受的，如果不通过，则转到步骤七。
2.如权利要求1所述的数据比较方法，其特征在于，在所述步骤二中，所述异常值检测和排除是通过统计学概率判定或数据挖掘算法鉴别不合常理的数据的过程。
3.如权利要求1所述的数据比较方法，其特征在于，在所述步骤二，所述异常值检测和排除可以采用如下方法中的任一种：箱线图法、Grubbs'检验、Tietjen-Moore检验、广义极端学生化偏差法、基于距离的离群点检测技术、基于密度的聚类算法、采用空间划分策略的异常值检测。
4.如权利要求1所述的数据比较方法，其特征在于，在所述步骤三中，所述工程指标核验包括趋势图、统计过程控制设定的界限、工艺允许的容错范围、良率指标和可靠性规定的寿命指标中的一种或多种。
5.如权利要求1所述的数据比较方法，其特征在于，在所述步骤四中，判断是否已知当前总体样本数据分布类型，是基于历史经验、物理模型得到的，包括正态分布、对数正态分布、威布尔分布、泊松分布或指数分布中的一种或多种。
6.如权利要求1所述的数据比较方法，其特征在于，在所述步骤六中，所述分布类型检测是通过分布拟合程度检验，根据贝叶斯信息准则判定，验证正态分布使用Shapiro-Wilk检验，验证对数正态分布使用Kolmogorov’s D检验，验证威布尔分布使用Cramer-vonMises W2检验。
7.如权利要求1所述的数据比较方法，其特征在于，在所述步骤五中，所述参数比较方法是指在所述总体样本数据分布类型已知的情况下，对总体样本数据分布的参数等进行推断的方法。
8.如权利要求7所述的数据比较方法，其特征在于，在所述步骤五中，当所述总体样本数据分布类型为正态分布时，若样本数据分组为1，当样本容量为5～50，采用T检验，当样本容量大于50，采用HC2方法；若样本数据分组为2，当样本容量大于50，则采用HC1/HC2方法；若样本容量在5～50，比较两组样本间的关系，若两组样本相互独立，则采用F/T检验，若两组样本要进行配对检验，则使用paired T检验；对于样本数据分组大于或等于3，则根据需要比较的统计量选择合适的方法，若要比较方差，可使用Bartlett检验，若要进行比较均值，则根据比较类型选择，若进行与控制组比较有无差异，可使用Dunnett’s检验，若要进行两两比较差异，则可使用Tukey’s检验，若要判断任意一组样本有无差异，可使用ANOVA检验。
9.如权利要求1所述的数据比较方法，其特征在于，在所述步骤八中，所述非参数统计比较方法指在推断过程中不涉及有关总体样本数据分布的参数，对于非参数两样本t检验可以采用非配对Mann-Whitney U检验，对于两个相关或配对样本检验可以采用Wilcoxon符号秩检验，对于三个或更多总体是否相同的检验，可以采用如Kruskal-Waillis检验。
10.如权利要求1所述的数据比较方法，其特征在于，在所述步骤七中，当所述总体样本数据分布类型为正态分布时，所述工程判定方法可以采用HC比较法或MR比较法；当所述总体样本数据分布类型不确定时，所述工程判定方法可以采用GDC比较方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811463981.8A CN109325059A (zh) | 2018-12-03 | 2018-12-03 | 一种数据比较方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811463981.8A CN109325059A (zh) | 2018-12-03 | 2018-12-03 | 一种数据比较方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109325059A true CN109325059A (zh) | 2019-02-12 |
Family
ID=65256187
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811463981.8A Pending CN109325059A (zh) | 2018-12-03 | 2018-12-03 | 一种数据比较方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109325059A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113495909A (zh) * | 2020-04-06 | 2021-10-12 | 中信百信银行股份有限公司 | 客诉单量预警方法、装置、电子设备及存储介质 |
| WO2021252826A1 (en) * | 2020-06-12 | 2021-12-16 | The Government Of The United States Of America, As Represented By The Secretary Of The Navy | Surface profile mapping for evaluating iii-n device performance and yield |
| CN115067909A (zh) * | 2022-07-21 | 2022-09-20 | 中国民用航空总局第二研究所 | 基于生物信息数据处理的远程塔台人因工效确定方法 |
| CN115795322A (zh) * | 2023-01-31 | 2023-03-14 | 北京全路通信信号研究设计院集团有限公司 | 铁路配置数据比对方法、装置、电子设备及存储介质 |
Citations (22)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5172047A (en) * | 1990-08-31 | 1992-12-15 | Mitsubishi Denki Kabushiki Kaisha | Semiconductor test apparatus |
| US20030074169A1 (en) * | 2001-10-15 | 2003-04-17 | Lockheed Martin Corporation | Method to optimize test data |
| US20040172401A1 (en) * | 2000-06-15 | 2004-09-02 | Peace Terrence B. | Significance testing and confidence interval construction based on user-specified distributions |
| US20040193870A1 (en) * | 2003-03-25 | 2004-09-30 | Digital Doors, Inc. | Method and system of quantifying risk |
| US20050278140A1 (en) * | 2004-06-14 | 2005-12-15 | Semiconductor Manufacturing International (Shanghai) Corporation | Method and system for yield similarity of semiconductor devices |
| US20070239361A1 (en) * | 2006-04-11 | 2007-10-11 | Hathaway William M | Automated hypothesis testing |
| CN101477358A (zh) * | 2008-01-04 | 2009-07-08 | 中芯国际集成电路制造(上海)有限公司 | 统计过程控制方法和装置 |
| US20120078522A1 (en) * | 2010-09-27 | 2012-03-29 | General Electric Company | Systems and methods for holistic analysis and visualization of pharmacological data |
| CN103020642A (zh) * | 2012-10-08 | 2013-04-03 | 江苏省环境监测中心 | 水环境监测质控数据分析方法 |
| US20150302042A1 (en) * | 2012-11-20 | 2015-10-22 | Hitachi, Ltd. | Data analysis apparatus and data analysis method |
| CN105574312A (zh) * | 2014-10-13 | 2016-05-11 | 中芯国际集成电路制造(上海)有限公司 | 用于工程改变数据分析的方法和系统 |
| CN105590020A (zh) * | 2014-11-05 | 2016-05-18 | 摩福公司 | 改进的数据比较方法 |
| CN106528518A (zh) * | 2016-11-28 | 2017-03-22 | 陕西理工学院 | 一种基于web的数学公式编辑系统及方法 |
| CN106709242A (zh) * | 2016-12-07 | 2017-05-24 | 常州大学 | 一种鉴别污水监测数据真伪的方法 |
| US20170290075A1 (en) * | 2013-03-15 | 2017-10-05 | DGS Global Systems, Inc. | Systems, methods, and devices having databases for electronic spectrum management |
| CN107766295A (zh) * | 2017-09-05 | 2018-03-06 | 湖北大学 | 一种对土壤养分测试数据进行特异值处理的方法及系统 |
| CN108151844A (zh) * | 2018-02-28 | 2018-06-12 | 成都市国科泰达科技有限公司 | 一种无人机载重飞行平稳性测试装置 |
| CN108334417A (zh) * | 2018-01-26 | 2018-07-27 | 阿里巴巴集团控股有限公司 | 确定数据异常的方法和装置 |
| CN108629079A (zh) * | 2018-03-28 | 2018-10-09 | 北京空间飞行器总体设计部 | 一种航天器锂离子蓄电池组全寿命周期健康状态评价方法 |
| CN108763828A (zh) * | 2018-06-21 | 2018-11-06 | 哈尔滨工业大学 | 一种基于统计分析的小样本数据模型验证方法 |
| US20180322096A1 (en) * | 2017-05-05 | 2018-11-08 | Han-Wei Zhang | Data analysis system and analysis method therefor |
| US20180340827A1 (en) * | 2017-05-23 | 2018-11-29 | Shimadzu Corporation | Mass analysis data analyzing apparatus and mass analysis data analyzing program |
-
2018
- 2018-12-03 CN CN201811463981.8A patent/CN109325059A/zh active Pending
Patent Citations (22)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5172047A (en) * | 1990-08-31 | 1992-12-15 | Mitsubishi Denki Kabushiki Kaisha | Semiconductor test apparatus |
| US20040172401A1 (en) * | 2000-06-15 | 2004-09-02 | Peace Terrence B. | Significance testing and confidence interval construction based on user-specified distributions |
| US20030074169A1 (en) * | 2001-10-15 | 2003-04-17 | Lockheed Martin Corporation | Method to optimize test data |
| US20040193870A1 (en) * | 2003-03-25 | 2004-09-30 | Digital Doors, Inc. | Method and system of quantifying risk |
| US20050278140A1 (en) * | 2004-06-14 | 2005-12-15 | Semiconductor Manufacturing International (Shanghai) Corporation | Method and system for yield similarity of semiconductor devices |
| US20070239361A1 (en) * | 2006-04-11 | 2007-10-11 | Hathaway William M | Automated hypothesis testing |
| CN101477358A (zh) * | 2008-01-04 | 2009-07-08 | 中芯国际集成电路制造(上海)有限公司 | 统计过程控制方法和装置 |
| US20120078522A1 (en) * | 2010-09-27 | 2012-03-29 | General Electric Company | Systems and methods for holistic analysis and visualization of pharmacological data |
| CN103020642A (zh) * | 2012-10-08 | 2013-04-03 | 江苏省环境监测中心 | 水环境监测质控数据分析方法 |
| US20150302042A1 (en) * | 2012-11-20 | 2015-10-22 | Hitachi, Ltd. | Data analysis apparatus and data analysis method |
| US20170290075A1 (en) * | 2013-03-15 | 2017-10-05 | DGS Global Systems, Inc. | Systems, methods, and devices having databases for electronic spectrum management |
| CN105574312A (zh) * | 2014-10-13 | 2016-05-11 | 中芯国际集成电路制造(上海)有限公司 | 用于工程改变数据分析的方法和系统 |
| CN105590020A (zh) * | 2014-11-05 | 2016-05-18 | 摩福公司 | 改进的数据比较方法 |
| CN106528518A (zh) * | 2016-11-28 | 2017-03-22 | 陕西理工学院 | 一种基于web的数学公式编辑系统及方法 |
| CN106709242A (zh) * | 2016-12-07 | 2017-05-24 | 常州大学 | 一种鉴别污水监测数据真伪的方法 |
| US20180322096A1 (en) * | 2017-05-05 | 2018-11-08 | Han-Wei Zhang | Data analysis system and analysis method therefor |
| US20180340827A1 (en) * | 2017-05-23 | 2018-11-29 | Shimadzu Corporation | Mass analysis data analyzing apparatus and mass analysis data analyzing program |
| CN107766295A (zh) * | 2017-09-05 | 2018-03-06 | 湖北大学 | 一种对土壤养分测试数据进行特异值处理的方法及系统 |
| CN108334417A (zh) * | 2018-01-26 | 2018-07-27 | 阿里巴巴集团控股有限公司 | 确定数据异常的方法和装置 |
| CN108151844A (zh) * | 2018-02-28 | 2018-06-12 | 成都市国科泰达科技有限公司 | 一种无人机载重飞行平稳性测试装置 |
| CN108629079A (zh) * | 2018-03-28 | 2018-10-09 | 北京空间飞行器总体设计部 | 一种航天器锂离子蓄电池组全寿命周期健康状态评价方法 |
| CN108763828A (zh) * | 2018-06-21 | 2018-11-06 | 哈尔滨工业大学 | 一种基于统计分析的小样本数据模型验证方法 |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113495909A (zh) * | 2020-04-06 | 2021-10-12 | 中信百信银行股份有限公司 | 客诉单量预警方法、装置、电子设备及存储介质 |
| WO2021252826A1 (en) * | 2020-06-12 | 2021-12-16 | The Government Of The United States Of America, As Represented By The Secretary Of The Navy | Surface profile mapping for evaluating iii-n device performance and yield |
| CN115067909A (zh) * | 2022-07-21 | 2022-09-20 | 中国民用航空总局第二研究所 | 基于生物信息数据处理的远程塔台人因工效确定方法 |
| CN115795322A (zh) * | 2023-01-31 | 2023-03-14 | 北京全路通信信号研究设计院集团有限公司 | 铁路配置数据比对方法、装置、电子设备及存储介质 |
| CN115795322B (zh) * | 2023-01-31 | 2023-09-26 | 北京全路通信信号研究设计院集团有限公司 | 铁路配置数据比对方法、装置、电子设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109325059A (zh) | 一种数据比较方法及装置 | |
| US7415387B2 (en) | Die and wafer failure classification system and method | |
| Yuan et al. | Detection of spatial defect patterns generated in semiconductor fabrication processes | |
| US7421358B2 (en) | Method and system for measurement data evaluation in semiconductor processing by correlation-based data filtering | |
| JP3913715B2 (ja) | 不良検出方法 | |
| US6711522B2 (en) | Data analysis apparatus, data analysis method, and computer products | |
| Arif et al. | Cascade quality prediction method using multiple PCA+ ID3 for multi-stage manufacturing system | |
| EP1787132A2 (en) | Methods and apparatus for local outlier detection | |
| US20040255198A1 (en) | Method for analyzing fail bit maps of wafers and apparatus therefor | |
| US20040006447A1 (en) | Methods and apparatus for test process enhancement | |
| US20090093904A1 (en) | System and Method for Rule-Based Data Mining and Problem Detection for Semiconductor Fabrication | |
| JP4786505B2 (ja) | 不良検出方法 | |
| US20190064253A1 (en) | Semiconductor yield prediction | |
| CN112200806A (zh) | 一种晶圆的缺陷分析方法和系统 | |
| US9142014B2 (en) | System and method for identifying systematic defects in wafer inspection using hierarchical grouping and filtering | |
| CN116825169B (zh) | 一种基于测试设备的异常存储芯片检测方法 | |
| Ahsan et al. | Developing computational intelligence for smart qualification testing of electronic products | |
| Teoh et al. | Systematic data mining using a pattern database to accelerate yield ramp | |
| US20050004773A1 (en) | Method for analyzing in-line qc test parameters | |
| US6898539B2 (en) | Method for analyzing final test parameters | |
| US6828776B2 (en) | Method for analyzing defect inspection parameters | |
| Drozda-Freeman et al. | The application and use of an automated spatial pattern recognition (SPR) system in the identification and solving of yield issues in semiconductor manufacturing | |
| KR102182678B1 (ko) | 반도체 제조 공정에서 특징 선택 기법에 따른 멀티 분류기를 활용한 불량 패턴 예측 장치 및 방법 | |
| Tong et al. | A novel methodology for fault identification of multi-stage manufacturing process using product quality measurement | |
| Kang et al. | A method to group reliability data by hierarchical clustering |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20200608 Address after: 430070 Hubei Province, Wuhan city Hongshan District Luoyu Road No. 1037 Applicant after: Hong Liu Address before: 200120 Shanghai, Nanhui, new towns around the Lake Road West, No. two, building C, Applicant before: RUIYI INTEGRATED CIRCUIT (SHANGHAI) Co.,Ltd. |
|
| TA01 | Transfer of patent application right | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20210118 Address after: 519000 unit 0, room 602, 6th floor, main building, No.10, Keji 1st Road, Gangwan Avenue, Tangjiawan Town, high tech Zone, Zhuhai City, Guangdong Province Applicant after: Hongqi integrated circuit (Zhuhai) Co.,Ltd. Address before: 430070 No. 1037 Luoyu Road, Hongshan District, Wuhan City, Hubei Province Applicant before: Hong Liu |
|
| TA01 | Transfer of patent application right | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |