CN110908990A - Fdc数据清洗方法 - Google Patents

Abstract

本申请公开了一种FDC数据清洗方法，属于数据处理领域。该方法包括获取FDC数据，去除错误数据，错误数据至少包括空值和非数值类型数据；对FDC数据进行数据点补位；根据时间因素对FDC数据进行排序，每个FDC数据点对应一个序列号；计算FDC数据的特征值，并根据特征值去除FDC数据中的极值点，得到中间FDC数据；计算中间FDC数据的特征值，并根据中间FDC数据的特征值筛选出中间FDC数据中的异常点，并去除；特征值为平均值、标准差、百分位数中的至少一种；解决了目前FDC数据中的异常点和极值点导致FDC监控和分析结果不准确得问题；达到了有效减少参数误报警率，提高FDC数据分析结果的可靠性的效果。

Description

FDC数据清洗方法

技术领域

本申请涉及数据处理领域，具体涉及一种FDC数据清洗方法。

背景技术

随着晶圆代工厂的技术升级与软硬件技术的不断发展，FDC(fault detectionclassification，错误侦测分类)数据的分析越来越重要。FDC数据作为晶圆代工厂内最实时反馈机台状态的数据，对晶圆代工厂内产品安全性和可靠性的监控起到重要作用。

现阶段可以做到0.1秒乃至0.01秒收集一个数据点，故FDC数据存在数据量过大、参数类型繁杂等特点，而各晶圆代工厂内部或软件供应商对于FDC数据的分析仍停留在最初阶段，无法对FDC数据进行有效的分析。

现有的FDC数据分析方法主要针对单一参数整体进行监控，并不考虑时间因素，这会导致设备状态随着时间变化或由时间累积所发生的异常无法被发现，异常数据无法被甄别的问题。

发明内容

本申请提供了一种FDC数据清洗方法，可以解决相关技术中的FDC数据的监控、分析结果准确率不高的问题。

一方面，本申请实施例提供了一种FDC数据清洗方法，该方法包括：

获取FDC数据，并去除FDC数据中的错误数据，错误数据至少包括空值和非数值类型数据；

对FDC数据进行数据点补位；

根据时间因素对FDC数据进行排序，每个FDC数据点对应一个序列号；

计算FDC数据的特征值，并根据特征值去除FDC数据中的极值点，得到中间FDC数据；

计算中间FDC数据的特征值，并根据中间FDC数据的特征值筛选出中间FDC数据中的异常点；

去除中间FDC数据中的异常点。

其中，特征值为平均值、标准差、百分位数中的至少一种。

可选的，对FDC数据进行数据点补位，包括：

检测每个时间点是否存在对应的数据值；

若检测到某一时间点不存在对应的数据值，则在FDC数据中加入时间点，时间点无对应的数据值。

可选的，计算FDC数据的特征值，并根据特征值去除FDC数据中的极值点，得到中间FDC数据，包括：

计算FDC数据的第1百分位数P1和第99百分位数P99；

去除FDC数据中数据值在区间[P1，P2]之外的FDC数据点，得到中间FDC数据。

可选的，计算中间FDC数据的特征值，并根据中间FDC数据的特征值筛选出中间FDC数据中的异常点，包括：

计算中间FDC数据的平均值和标准差；

根据平均值和标准差确定异常点判断条件；

将符合异常点判断条件的FDC数据点标记为异常点。

可选的，根据平均值和标准差确定异常点判断条件，包括：

根据中间FDC数据的平均值和标准差计算第一参考值K1和第二参考值K2；

根据第一参考值K1和第二参考值K2确定出异常点判断条件；

其中，异常点判断条件为：数据值在区间(K1，K2)之外；

K1＝Avd-m*Std，K2＝Avd+m*Std；

Avd表示中间FDC数据的平均值，Std表示中间FDC数据的标准差。

可选的，m＝10。

可选的，获取FDC数据，包括：

按预定周期获取FDC数据。

可选的，FDC数据的类型包括气压、气流、气体浓度。

可选的，该方法还包括：

根据去除异常点后的FDC数据，确定参数分布结果；

根据参数分布结果进行SPC管控计算。

本申请技术方案，至少包括如下优点：

通过获取FDC数据，去除FDC数据中的错误数据，进FDC数据进行补位，按时间因素对FDC数据点排序，计算FDC数据的特征值，去除FDC数据中的极值，得到中间FDC数据，然后再对计算中间FDC数据的特征值，根据中间FDC数据的特征值筛选出中间FDC数据中的异常点，去除异常点，得到数据清洗后的FDC数据；解决了目前FDC数据中的异常点和极值点导致FDC监控和分析结果不准确的问题；达到了有效减少参数误报警率，提高FDC数据分析结果的可靠性的效果。

附图说明

为了更清楚地说明本申请具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请实施例提供的一种FDC数据清洗方法的流程图；

图2是本申请实施例提供的另一种FDC数据清洗方法的流程图。

具体实施方式

下面将结合附图，对本申请中的技术方案进行清楚、完整的描述，显然，所描述的实施例是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在不做出创造性劳动的前提下所获得的所有其它实施例，都属于本申请保护的范围。

在本申请的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本申请和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本申请的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。

在本申请的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电气连接；可以是直接相连，也可以通过中间媒介间接相连，还可以是两个元件内部的连通，可以是无线连接，也可以是有线连接。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本申请中的具体含义。

此外，下面所描述的本申请不同实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互结合。

FDC数据最大的特性在于数据存在时间效应，即数据会随着时间发生周期性变化。假设机台状态稳定，不发生任何变化的情况下，任一制程晶圆过货时，FDC数据任一特征均应保持一致。

FDC数据的数据类型包括气压、气流、气体浓度等类型。

根据FDC数据的特性，本申请实施例提供了一种FDC数据的清洗方法的流程图，如图1所示，该方法可以包括以下步骤：

步骤101，获取FDC数据，并去除FDC数据中的错误数据。

错误数据至少包括空值和非数值类型数据。

在FDC数据的收值过程中，会收集到诸如空值、非数值类型数据之类的错误数据，将FDC数据中的错误数据去除，保留FDC数据中的数值类型数据。

FDC数据包括多个FDC数据点，每个FDC数据点对应一个数据值和一个时间点。

步骤102，对FDC数据进行数据点补位。

FDC数据在收值时会按照预定时间周期收集数据值，在FDC数据的收值过程中会存在数据点丢失的情况，即某一时间点本应该收集到对应的数据值，但实际收值过程中并没有收集数据值。

对于该种情况，需要对获取到的FDC数据进行数据点补位，即在FDC数据中加入没有收集到数据值的时间点，但不对该时间点赋值，确保后续数据处理中不受数据缺失的影响。

步骤103，根据时间因素对FDC数据进行排序，每个FDC数据点对应一个序列号。

在进行后续的数据处理操作之前，按照时间顺序对FDC数据中的FDC数据点进行排序，并按照FDC数据点的顺序依次分配序列号，每个FDC数据点对应一个序列号。

步骤104，计算FDC数据的特征值，并根据特征值去除FDC数据中的极值点，得到中间FDC数据。

特征值为平均值、标准差、百分位数中的至少一种。

步骤105，计算中间FDC数据的特征值，并根据中间FDC数据的特征值筛选出中间FDC数据中的异常点。

去掉FDC数据中的极值点后，得到了中间FDC数据，计算中间FDC数据的特征值。

特征值为平均值、标准差、百分位数中的至少一种。

根据中间FDC数据的特征值筛选出中间FDC数据中的异常点。

可选的，对异常点进行标记。

步骤106，去除中间FDC数据中的异常点。

去除了异常点后的中间FDC数据为完成数据清洗的FDC数据，根据完成数据清洗后的FDC数据，可以进行后续的SPC(规格线)管控。

综上所述，本申请实施例通过获取FDC数据，去除FDC数据中的错误数据，进FDC数据进行补位，按时间因素对FDC数据点排序，计算FDC数据的特征值，去除FDC数据中的极值，得到中间FDC数据，然后再对计算中间FDC数据的特征值，根据中间FDC数据的特征值筛选出中间FDC数据中的异常点，去除异常点，得到数据清洗后的FDC数据；解决了目前FDC数据中的异常点和极值点导致FDC监控和分析结果不准确的问题；达到了有效减少参数误报警率，提高FDC数据分析结果的可靠性的效果。

在每次FDC数据清洗针对一种类型的FDC数据，比如，处理数据类型为气压的FDC数据，或，处理数据类型为气流的FDC数据，或，处理数据类型为气体浓度的FDC数据。

请参考图2，其示出了本申请实施例提供的另一种FDC数据清洗方法的流程图，如图2所示，该方法可以包括如下步骤：

步骤201，获取FDC数据，去除FDC数据中的错误数据。

错误数据至少包括空值和非数值类型数据。

可选的，按预定周期获取FDC数据，每次获取FDC数据后，去除FDC数据中的错误数据。

FDC数据包括多个FDC数据点，每个FDC数据点对应一个数据值和一个时间点。

获取到的FDC数据对应一个时间范围，该时间范围可以被划分为多个时间点。

步骤202，检测每个时间点是否存在对应的数据值。

FDC数据在收值时会按照预定时间周期收集数据值，理想情况下，每个时间点均会收集到一个数据值，但是由于环境变化、人为误操作等原因，会存在数据点丢失的情况，因此，为了确保后续数据处理中不受数据缺失的影响，需要对FDC数据进行数据点补位。

若检测到某一时间点不存在对应的数据值，则执行步骤203；若检测到某一时间点存在对应的数据值，则继续检测下一个时间点是否存在对应的数据值，直到预定时间范围内的时间点均检测完成。可选的，预定时间范围是预先根据实际情况设置的；获取到的FDC数据是预定时间范围内的FDC数据数据。

步骤203，当检测到某一时间点不存在对应的数据值时，在FDC数据中加入该时间点，该时间点无对应的数据值。

比如，检测到时间点t不存在对应的数据点，在FDC数据中增加一个数据点，该数据点对应时间点t，该数据点没有数据值。

步骤204，根据时间因素对FDC数据进行排序，每个FDC数据点对应一个序列号。

该步骤在上述步骤103中进行了阐述，这里不再赘述。

步骤205，计算FDC数据中的第1百分位数P1和第99百分位数P99。

根据FDC数据计算第1百分位数P1和第99百分位数P99。

步骤206，去除FDC数据中数据值在区间[P1，P99]之外的FDC数据点，得到中间FDC数据。

将数据值在区间[P1，P99]之外的FDC数据点定义为极值点，去除FDC数据中的极值点，得到中间FDC数据。

步骤207，计算中间FDC数据的平均值和标准差。

基于去除极值点后得到的中间FDC数据，计算中间FDC数据的平均值和中间FDC数据的标准差。

步骤208，根据中间FDC数据的平均值和中间FDC数据的标准差确定异常点判断条件。

异常点判断条件用于筛选出中间FDC数据中的异常点。

根据中间FDC数据的平均值Avd和中间FDC数据的标准差Std计算出第一参考值K1，根据中间FDC数据的平均值Avd和中间FDC数据的标准差Std计算出第一参考值K2；K1＝Avd-m*Std，K2＝Avd+m*Std。

根据第一参考值K1和第二参考值K2确定出异常点判断条件为：数据值在区间(K1，K2)之外。

可选的，m为正数。

在一种情况下，m＝10，K1＝Avd-10*Std，K2＝Avd+10*Std。

需要说明的是，m的实际取值根据实际情况确定，本申请实施例对此不作限定。

步骤209，将符合异常点判断条件的FDC数据点标记为异常点。

对于中间FDC数据，将其中数据值在区间(K1，K2)之外的FDC数据点确定为异常点，并标记异常点。

步骤210，去除中间FDC数据中的异常点。

去除了异常点后的中间FDC数据为完成数据清洗的FDC数据。

本申请实施例提供的FDC数据清洗方法中，对FDC数据点处理在数据点层面，可以有效地识别极值点、异常点，并保留FDC数据的原始分布，在对FDC数据进行处理时保留了FDC数据的时间因素，避免机台设备状态随着时间的变化或由时间积累所发生的异常无法被发现的情况，有效降低了参数误报警率，提高了FDC数据分析结果的可靠性。

在基于图1或图2所示实施例的可选实施例中，在FDC数据清洗完成后还可以结合FDC参数分布结果，直接进行SPC管控计算，即该方法还可以包括如下步骤：

S1，根据去除异常点后的FDC数据，确定参数分布结果。

参数分布可以是均匀分布、正态分布、非正态分布。

S2，根据参数分布结果进行SPC管控计算。

可选的，系统可以根据数据清洗之后的FDC数据自动进行SPC管控的计算、调整。

显然，上述实施例仅仅是为清楚地说明所作的举例，而并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引伸出的显而易见的变化或变动仍处于本申请创造的保护范围之中。

Claims (9)

1.一种FDC数据清洗方法，其特征在于，所述方法包括：

获取FDC数据，并去除所述FDC数据中的错误数据，所述错误数据至少包括空值和非数值类型数据；

对所述FDC数据进行数据点补位；

根据时间因素对所述FDC数据进行排序，每个FDC数据点对应一个序列号；

计算所述FDC数据的特征值，并根据所述特征值去除所述FDC数据中的极值点，得到中间FDC数据；

计算所述中间FDC数据的特征值，并根据所述中间FDC数据的特征值筛选出所述中间FDC数据中的异常点；

去除所述中间FDC数据中的异常点。

其中，所述特征值为平均值、标准差、百分位数中的至少一种。

2.根据权利要求1所述的方法，其特征在于，所述对所述FDC数据进行数据点补位，包括：

检测每个时间点是否存在对应的数据值；

若检测到某一时间点不存在对应的数据值，则在所述FDC数据中加入所述时间点，所述时间点无对应的数据值。

3.根据权利要求1所述的方法，其特征在于，所述计算所述FDC数据的特征值，并根据所述特征值去除所述FDC数据中的极值点，得到中间FDC数据，包括：

计算所述FDC数据的第1百分位数P1和第99百分位数P99；

去除所述FDC数据中数据值在区间[P1，P2]之外的FDC数据点，得到所述中间FDC数据。

4.根据权利要求1所述的方法，其特征在于，所述计算所述中间FDC数据的特征值，并根据所述中间FDC数据的特征值筛选出所述中间FDC数据中的异常点，包括：

计算所述中间FDC数据的平均值和标准差；

根据所述平均值和标准差确定异常点判断条件；

将符合所述异常点判断条件的FDC数据点标记为异常点。

5.根据权利要求4所述的方法，其特征在于，所述根据所述平均值和标准差确定异常点判断条件，包括：

根据所述中间FDC数据的平均值和标准差计算第一参考值K1和第二参考值K2；

根据所述第一参考值K1和所述第二参考值K2确定出所述异常点判断条件；

其中，所述异常点判断条件为：数据值在区间(K1，K2)之外；

K1＝Avd-m*Std，K2＝Avd+m*Std；

Avd表示所述中间FDC数据的平均值，Std表示所述中间FDC数据的标准差。

6.根据权利要求5所述的方法，其特征在于，m＝10。

7.根据权利要求1所述的方法，其特征在于，所述获取FDC数据，包括：

按预定周期获取FDC数据。

8.根据权利要求1至7任一所述的方法，其特征在于，所述FDC数据的类型包括气压、气流、气体浓度。

9.根据权利要求1至7任一所述的方法，其特征在在于，所述方法还包括：

根据去除所述异常点后的所述FDC数据，确定参数分布结果；

根据所述参数分布结果进行SPC管控计算。

Images