CN110905478B - 一种基于箱线图法和马氏平方距离法的钻井数据清洗方法 - Google Patents

Abstract

本发明设计开发了一种基于箱线图法和马氏平方距离法的钻井数据清洗方法，包括：步骤一、获取需要进行数据清洗的钻井数据；步骤二、对所述多维矩阵进行分组，得到多个行数为M行，列数为N的矩阵作为基本数据处理单元，依次对所述基本数据处理单元进行数据清洗，对所述基本数据处理单元进行数据更新，得到更新数据处理单元；步骤四、将所述异常值剔除，得到常值数据处理单元；步骤五、计算所述常值数据处理单元各维度之间的马氏距离，本发明针对箱线图法检测钻井数据存在的局限性，同时结合马氏距离判别法能对多变量统计数据进行异常值检测的特点，对含有多维数据的钻井数据进行双重清洗，能有效地检测出异常值，以达到较好的数据清洗效果。

Description

一种基于箱线图法和马氏平方距离法的钻井数据清洗方法

技术领域

本发明涉及石油勘探以及钻井工程领域，具体涉及一种用于钻井数据处理的计算与处理方法。

背景技术

随着我国石油行业的蓬勃发展以及石油资源勘探力度的加大，有关石油勘探的钻井数据，包括试井和录井数据的体量越来越大，在石油行业进行数字化转型的背景下，相关职能部门对钻井数据的可靠性要求越来越高。在自动化逐渐普及的今天，钻井数据仍然受到诸多不稳定因素的影响，例如钻机本身的机械特性，所钻地层的地质、水土情况，以及设备的操作情况等。另外，在数据的录入环节，数据也可能受到人为的篡改，因此，采集录入到数据库系统中的数据，往往包含一些不真实的以及异常的噪声数据，另外，在数据的传输过程以及产生过程中，受设备以及传输误差等的一些影响，数据不可避免地会产生一些缺失数据以及错误、异常的数据，如何对采集到的钻井数据进行数据治理，保证钻井数据的精确性、完整性、有效性，进而提高钻井数据的管控质量，是一个在石油钻井领域值得研究的课题。

鉴于钻井数据含有多维数据，且由不同的传感器采集所得，且由上所述，钻井数据自身带有噪声数据、不真实数据等复杂性，因此，钻井数据的异常检测和清洗给工程技术人员带来了巨大挑战。目前数据清洗包括数据的异常值检测、数据缺失值填补或剔除、无效值处理等一系列机制。在钻井数据参数检测方面，专利201410306809.7针对钻井参数公开了一种钻井数据异常检测方法，通过人为设定的上下阈值范围以及超出阈值范围的异常采样数据的连续个数来判定该时间段的数据是否异常，进而实现数据的清洗，该方法实现简单，但阈值参数的设定需要凭借经验来选取，且受数据的影响有时需要更改不同的阈值设定，由于不控制因素太多，因此清洗过程不够智能化和自动化。专利201410307882.6公布了一种数据异常监测系统，该系统包括井场端和协同监测端，井场端判断数据是否异常，协同检测端分析得到出现异常的原因，该方法强调的是两端协同检测，并没有指出具体的数据分析与异常检测方法。上述方案在钻井数据清洗以提高数据质量管控方面仍有不足，且目前尚未有有效的数据清洗方案用于钻井数据的质量控制。选择高效的数据清洗方法，能为钻井工程数据的分析和挖掘利用提供了十分重要的支撑，对提高钻井工程数据分析的科学性以及提高钻井效率具有十分重要的意义。

发明内容

本发明设计开发了一种基于箱线图法和马氏平方距离法的钻井数据清洗方法，同时结合箱线图法和马氏距离判别法，利用二者均能对多变量统计数据进行异常值检测的特点，对含有多维数据的钻井数据进行双重清洗，能有效地检测出异常值，以达到较好的数据清洗效果。

本发明提供的技术方案为：

一种基于箱线图法和马氏平方距离法的钻井数据清洗方法，包括：

步骤一、获取需要进行数据清洗的钻井数据，并将所述钻井数据编写成多维矩阵；

其中，所述多维矩阵的行数代表钻井数据的样本量，所述多维矩阵的列数代表钻井数据的属性列；

步骤二、对所述多维矩阵进行分组，得到多个行数为M行，列数为N的矩阵作为基本数据处理单元，依次对所述基本数据处理单元进行数据清洗；

步骤三、遍历所述基本数据处理单元每一列，检查每一列是否存在缺失值，并剔除所述缺失值，对所述基本数据处理单元进行数据更新，得到更新数据处理单元；

步骤四、利依次对更新数据处理单元的每一列进行异常值检测，并将所述异常值剔除，得到常值数据处理单元；

步骤五、计算所述常值数据处理单元各维度之间的马氏距离；

步骤六、根据所述马氏距离判别所述常值数据处理单元是否为异常样本，并剔除所述异常样本。

优选的是，所述多维矩阵行数40≤M≤60。

优选的是，所述步骤四中的异常值检测方法包括：

步骤a、依次对所述更新数据处理单元的第i列数据进行

升序排列，得到排序后的新向量

其中，a_1i≤a_2i≤…≤a_ki；k≤M；i＝1,2…N；

步骤b、求解第i列数据的四分位距：

gap1＝a_ei-a_fi；

其中，gap1为四分位距，

步骤c、根据所述四分位距求解判定上限和判定下限：

sde1＝a_e1+1.5*gap1

xde1＝a_f1-1.5*gap1

其中，sde1为判定上限，xde1为判定下限；

步骤d、将排序后的新向量中的每一个值与所述判定上限和判定下限比较，若a_ki＞sde1或a_xi＜xde1,则判定a_ki为异常值，并将其剔除；

完成更新数据处理单元N列的异常值剔除后，得到清洗后的常值数据处理单元

优选的是，所述步骤五中的马氏距离计算过程为：

首先，计算常值数据处理单元Y的各个维度求均值，得到均值向量

其中，

其中，

为常值数据处理单元Y中第n列的数据平均值；

然后，计算各个维度间的协方差矩阵∑：

其中，Cov(Y_p,Y_n)为常值数据处理单元Y的第p列和第n列之间的协方差，

其中，y_ip为常值数据处理单元中第i行、第p列的数据值，

为常值数据处理单元Y中第p列的数据平均值，y_in为常值数据处理单元中第i行、第n列的数据值，

为常值数据处理单元Y中第n列的数据平均值；

最后，计算得到常值数据单元中第j行数据对应的马氏平方距离：

其中，ma_j为第j行数据对应的马氏平方距离，(Σ^-1)为对协方差矩阵∑的求逆，

为向量矩阵

的逆矩阵。

优选的是，所述步骤六中判别异常样本的过程为：

首先，计算所述常值数据处理单元的卡方分布值，并根据所述卡方分布值得到马氏距离的临界值；

然后，将所述马氏平方距离与所述马氏距离的临界值进行比较，若所述马氏平方距离大于所述马氏距离的临界值，判定所述常值数据处理单元为异常样本，并剔除所述异常样本。

优选的是，常值数据单元中第j行数据的卡方分布值计算公式为：

其中，χ_j ²为常值数据单元中第j行数据的卡方分布值。

优选的是，所述马氏距离的临界值计算公式为：

其中，χ_j为常值数据单元中第j行数据的卡方分布值的开方值。

本发明所述的有益效果

本发明设计开发了一种基于箱线图法和马氏平方距离法的钻井数据清洗方法，针对箱线图法检测钻井数据存在的局限性，同时结合马氏距离判别法能对多变量统计数据进行异常值检测的特点，对含有多维数据的钻井数据进行双重清洗，能有效地检测出异常值，以达到较好的数据清洗效果。

附图说明

图1为本发明所述的一种基于箱线图法和马氏距离判别法的数据清洗方法的整体处理流程图。

图2为本发明中利用箱线图法进行异常值检测的具体流程图。

图3为本发明中利用马氏距离判别法进行异常值检测的具体流程图。

具体实施方式

下面结合附图对本发明做进一步的详细说明，以令本领域技术人员参照说明书文字能够据以实施。

如图1所示，本发明提供的基于箱线图法和马氏平方距离法的钻井数据清洗方法，包括：

步骤S101、获取所需要进行数据清洗的钻井数据及其维数，该维数包括数据的行数和列数，其中行数代表数据的样本量，列数代表数据的属性列；

步骤S102、对获取的样本进行分组，每组40个样本为一组，作为基本的数据处理单元；

步骤S103、取其中的一组数据进行清洗，当该组数据清洗完毕后，取下一组数据进行清洗；

步骤S104、检查该组数据某一维度的数据是否含有缺失值，如果含有缺失值，则直接剔除该样本数据，转向步骤S110，以避免因缺失值插补影响后期的数据分析效果；

步骤S105、如果该维数据不存在缺失值，则利用箱线图法检查该维数据是否存在异常值点，如果该维数据不存在异常值点，则转向步骤S106；如果箱线图法检查出该维数据含有异常值点，则直接剔除包含该异常值的样本，转向步骤S110；

步骤S106、取该组数据的下一位数据进行分析，检查是否含有缺失值和异常值点，即转向步骤S104；

步骤S107、检查该组数据的所有维度的数据是否遍历完毕，若没有，则转向步骤S106，取下一维数据继续进行处理；如果遍历完毕，则转向步骤S108；

步骤S108、求该组数据各维度之间的马氏距离；

步骤S109、根据步骤S108所求的马氏距离，根据马氏距离判别法检测该组数据有无异常样本，该方法具体的实施方法将在随后的具体实施方式中予以阐述；如果检测到了有异常样本，则转向步骤S110；

步骤S110、直接剔除异常样本；

步骤S111、如果该组数据经过马氏距离判别后无异常样本，或者该组数据的所有样本经过马氏距离判别法检测后，则转向步骤S111，取下一组样本数据，进行上述方法的数据清洗；

根据本发明的一个实施例，在步骤S102中样本分组数量可以取除40以外的其他整数值，最后一组的样本数量小于40个样本时，可单独按一组样本数据来进行统计。

以下将结合附图和实施例来详细说明本发明的实施方式，借此阐述本发明如何应用技术手段来解决技术问题，以达到技术的实施过程能被充分理解并予以实施。需要说明的是，只要不构成不冲突，本发明的各个实施例以及实施例中的各个特征可以相互结合，所形成的技术方案均在本发明的保护范围之内。

同时，在以下说明中，出于解释的目的而阐述了更多的具体细节，以提供对本发明实施例的具体理解；对于本领域的技术人员显而易见地是，本发明可以不用这里的具体细节或者所描述的特定方式来实例。

另外，在附图中的流程图所示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行。虽然在流程图中示出了逻辑顺序，但在某些情况下，可以以不同于此处的顺序来执行所描述的步骤。

本发明所提供的钻井参数数据清洗流程，包括：

步骤S101、获取当前要清洗的钻井数据，并将其作为一个矩阵，获取相应的行和列，以得到钻井数据的样本数量和属性维数，假定属性维数为N维，分别为X₁,X₂…X_N；

步骤S102、对样本数据进行分组，假定每组样本数量为40，则可以得到一个行数为40行，列数为N的矩阵，即为

其中m值取值为40；

步骤S103、取其中的一组数据进行清洗，当该组数据清洗完毕后，取下一组数据进行清洗；

步骤S104、先检查第一维数据是否存在缺失值，即检查矩阵的第一列

中是否存在缺失值，如果存在，则转向步骤S110，将其中样本剔除，并对样本数进行更新得到更新数据处理单元

如果不存在缺失值，则转向步骤S105；

步骤S105、利用箱线图法对该列数据进行异常值检测，其具体过程为：

如图2所示，步骤S201、依次对更新数据处理单元的第i列数据进行

升序排列，得到排序后的新向量

其中，a_1i≤a_2i≤…≤a_ki；k≤M；i＝1,2…N；

步骤S202、求解排序后的新向量的第一四分位数，第一四分位数即为经过排序后向量处在25％位置处的值为a_fi；

步骤S203、求解排序后的新向量的第三四分位数即为经过排序后向量处在75％位置处的值，假定为a_ei；

步骤S204、求解第i列数据的四分位距：

gap1＝a_ei-a_fi；

其中，gap1为四分位距，

步骤S205、根据四分位距求解判定上限和判定下限：

sde1＝a_e1+1.5*gap1

xde1＝a_f1-1.5*gap1

其中，sde1为判定上限，xde1为判定下限；

步骤S206、将排序后的新向量中的每一个值与所述判定上限和判定下限比较，若a_ki＞sde1或a_xi＜xde1，则判定a_ki为异常值，并将其剔除；

完成更新数据处理单元N列的异常值剔除后，得到清洗后的常值数据处理单元

步骤S207、进行下一组数据的异常值清洗；

步骤S106、取该组数据的下一位数据进行分析，检查是否含有缺失值和异常值点，即转向步骤S104；

步骤S107、检查该组数据的所有维度的数据是否遍历完毕，若没有，则转向步骤S106，取下一维数据继续进行处理；如果遍历完毕，则转向步骤S108；

步骤S108、求该组数据各维度之间的马氏距离，其具体过程为：

如图3所示，步骤S301、计算常值数据单元中第j行数据的卡方分布值，其计算公式为：

其中，χ_j ²为常值数据单元中第j行数据的卡方分布值；

步骤S302、计算常值数据处理单元Y的各个维度求均值，得到均值向量

其中，

其中，

为常值数据处理单元Y中第n列的数据平均值。

步骤S303、计算各个维度间的协方差矩阵∑：

其中，Cov(Y_p,Y_n)为常值数据处理单元Y的第p列和第n列之间的协方差，

其中，y_ip为常值数据处理单元中第i行、第p列的数据值，

为常值数据处理单元Y中第p列的数据平均值，y_in为常值数据处理单元中第i行、第n列的数据值，

为常值数据处理单元Y中第n列的数据平均值；

步骤S304、计算马氏距离的临界值计算公式为：

其中，χ_j为常值数据单元中第j行数据的卡方分布值的开方值。

步骤S305、计算得到常值数据单元中第j行数据对应的马氏平方距离：

其中，ma_j为第j行数据对应的马氏平方距离，(Σ^-1)为对协方差矩阵∑的求逆，

为向量矩阵

的逆矩阵。

步骤S306、将所述马氏平方距离与所述马氏距离的临界值进行比较，若所述马氏平方距离小于所述马氏距离的临界值进入步骤S307，若所述马氏平方距离大于所述马氏距离的临界值，进入步骤S308；

步骤S307、进行下一组数据清洗；

步骤S308、判定所述常值数据处理单元为异常样本，并剔除所述异常样本。

本发明同时结合箱线图法和马氏距离判别法，利用二者均能对多变量统计数据进行异常值检测的特点，对含有多维数据的钻井数据进行双重清洗，能有效地检测出异常值，以达到较好的数据清洗效果。

尽管本发明的实施方案已公开如上，但其并不仅仅限于说明书和实施方式中所列运用，它完全可以被适用于各种适合本发明的领域，对于熟悉本领域的人员而言，可容易地实现另外的修改，因此在不背离权利要求及等同范围所限定的一般概念下，本发明并不限于特定的细节和这里示出与描述的图例。

Claims (6)

1.一种基于箱线图法和马氏平方距离法的钻井数据清洗方法，其特征在于，包括：

步骤一、获取需要进行数据清洗的钻井数据，并将所述钻井数据编写成多维矩阵；

其中，所述多维矩阵的行数代表钻井数据的样本量，所述多维矩阵的列数代表钻井数据的属性列；

步骤二、对所述多维矩阵进行分组，得到多个行数为M行，列数为N的矩阵作为基本数据处理单元，依次对所述基本数据处理单元进行数据清洗；

步骤三、遍历所述基本数据处理单元每一列，检查每一列是否存在缺失值，并剔除所述缺失值，对所述基本数据处理单元进行数据更新，得到更新数据处理单元；

步骤四、依次对更新数据处理单元的每一列进行异常值检测，并将所述异常值剔除，得到常值数据处理单元；所述步骤四中的异常值检测方法包括：

步骤a、依次对所述更新数据处理单元的第i列数据进行

升序排列，得到排序后的新向量

其中，a_1i≤a_2i≤…≤a_ki；k≤M；i＝1,2…N；

步骤b、求解第i列数据的四分位距：

gap1＝a_ei-a_fi；

其中，gap1为四分位距，

步骤c、根据所述四分位距求解判定上限和判定下限：

sde1＝a_e1+1.5*gap1

xde1＝a_f1-1.5*gap1

其中，sde1为判定上限，xde1为判定下限；

步骤d、将排序后的新向量中的每一个值与所述判定上限和判定下限比较，若a_ki＞sde1或a_xi＜xde1,则判定a_ki为异常值，并将其剔除；

完成更新数据处理单元N列的异常值剔除后，得到清洗后的常值数据处理单元

步骤五、计算所述常值数据处理单元各维度之间的马氏距离；

步骤六、根据所述马氏距离判别所述常值数据处理单元是否为异常样本，并剔除所述异常样本。

2.根据权利要求1所述的基于箱线图法和马氏平方距离法的钻井数据清洗方法，其特征在于，所述多维矩阵行数40≤M≤60。

3.根据权利要求2所述的基于箱线图法和马氏平方距离法的钻井数据清洗方法，其特征在于，所述步骤五中的马氏距离计算过程为：

首先，计算常值数据处理单元Y的各个维度求均值，得到均值向量

其中，

其中，

为常值数据处理单元Y中第n列的数据平均值；

然后，计算各个维度间的协方差矩阵∑：

其中，Cov(Y_p,Y_n)为常值数据处理单元Y的第p列和第n列之间的协方差，

y_ip为常值数据处理单元中第i行、第p列的数据值，

为常值数据处理单元Y中第p列的数据平均值，y_in为常值数据处理单元中第i行、第n列的数据值，

为常值数据处理单元Y中第n列的数据平均值；

最后，计算得到常值数据单元中第j行数据对应的马氏平方距离：

其中，ma_j为第j行数据对应的马氏平方距离，(Σ^-1)为对协方差矩阵∑的求逆，

为向量矩阵

的逆矩阵。

4.根据权利要求3所述的基于箱线图法和马氏平方距离法的钻井数据清洗方法，其特征在于，所述步骤六中判别异常样本的过程为：

首先，计算所述常值数据处理单元的卡方分布值，并根据所述卡方分布值得到马氏距离的临界值；

然后，将所述马氏平方距离与所述马氏距离的临界值进行比较，若所述马氏平方距离大于所述马氏距离的临界值，判定所述常值数据处理单元为异常样本，并剔除所述异常样本。

5.根据权利要求4所述的基于箱线图法和马氏平方距离法的钻井数据清洗方法，其特征在于，常值数据单元中第j行数据的卡方分布值计算公式为：

其中，χ_j ²为常值数据单元中第j行数据的卡方分布值。

6.根据权利要求5所述的基于箱线图法和马氏平方距离法的钻井数据清洗方法，其特征在于，所述马氏距离的临界值计算公式为：

其中，χ_j为常值数据单元中第j行数据的卡方分布值的开方值。

Images