CN117609710B - 监测数据正常跳变防剔除方法及装置 - Google Patents

Abstract

本发明公开了一种监测数据正常跳变防剔除方法及装置，方法包括获取监测数据序列中相邻两个数据的变化量，得到变化量序列；获取变化量序列的标准偏差及变化量序列中每个数据的残差；根据标准偏差和每个数据的残差确定是否需要剔除监测数据序列中的对应数据。本发明提出的监测数据正常跳变防剔除方法及装置，引进监测数据的前后变化量，利用变化量形成一个新的序列，即变化量序列，对变化量序列进行算法处理，能最大程度的保留监测数据有正常台阶跳变之后的数据，避免了正常跳变台阶数据的完全剔除，该方法及装置效果良好，具有工程实际应用价值。

Description

监测数据正常跳变防剔除方法及装置

技术领域

本发明属于自动监测技术领域，具体公开了一种监测数据正常跳变防剔除方法及装置。

背景技术

安全监测的主要目的就是了解被监测对象不同时期的真实状态，安全监测已经成为判断被监测对象是否为稳定状态的重要方法。合理布设监测设备，并及时采集和科学处理分析监测数据，可以准确掌握被监测对象的工作性态，提前发现潜在的危险，进而及时采取处理措施，确保被监测对象安全。但是在科学处理被监测对象的监测数据时，由于各种因素的综合影响或作用，常常会出现一个或多个严重偏离目标真值的测值，即所谓的野值（粗差）。粗差会严重影响数据的应用，因此在数据应用前必须对数据进行粗差识别并剔除、使用数学算法对监测数据中的野值进行识别和处理，以保证监测数据的真实性和可靠性。粗差剔除算法较多，有拉伊特（Paǔt）准则、格鲁布斯（Grubbs）准则、狄克逊（Dixon）准则、检验准则。

上述的几种方法，除了拉伊特准则外，其它的几种算法都需要通过查表的方式来找到粗差，所以在实际应用中拉伊特准则较为简单，在自动化集成装置中更方便实现。但是拉伊特准则在实际使用的过程中也存在一定的问题：

（1）每剔除一个粗差数据后就要重新计算一次个数的平均值、残差和标准差；

（2）将原始数据序列作为基础序列，在出现比较大的台阶跳变数据的时候，会把台阶跳变之后的数据全部都认为是粗差并全部剔除，导致数据不可用。

以水电站边坡安全监测为例，在水电站边坡安全监测分析过程中，有些测点的数据，在某个时间会产生正常的台阶跳变，如图1所示，某边坡表部变形测点过程线在2023年2月10日后数据产生台阶跳变，经过分析，该数据属于正常的一个跳变数据，而传统的剔除算法，会将2023年2月10日后数据作为粗差全部剔除掉，这种剔除显然是不合理的，会导致水电站边坡安全监测数据的缺失，降低边坡安全评价的准确性。

发明内容

本发明的目的在于，提供一种监测数据正常跳变防剔除方法及装置，以解决现有粗差剔除方法将正常跳变作为粗差剔除，导致安全监测数据缺失，降低边坡安全评价的准确性的技术问题。

本发明的第一方面提供了一种监测数据正常跳变防剔除方法，包括：

步骤1、获取监测数据序列中相邻两个数据的变化量，得到变化量序列；

步骤2、获取所述变化量序列的标准偏差及所述变化量序列中每个数据的残差；

步骤3、根据所述标准偏差和所述每个数据的残差确定是否需要剔除所述监测数据序列中的对应数据。

优选地，在所述步骤1之后还包括：

对所述变化量序列中的每个数据进行修正，得到修正后的变化量序列；

则所述步骤2具体为：

获取所述修正后的变化量序列的标准偏差及所述变化量序列中每个数据的残差。

优选地，对所述变化量序列中的每个数据进行修正，具体包括：

利用固定值修正所述变化量序列中的每个数据。

优选地，所述固定值为所述变化量序列中的第一个数据。

优选地，利用所述固定值修正所述变化量序列中的每个数据，具体包括：

分别计算所述变化量序列中的每个数据与所述固定值的差值，所述差值为所述变化量序列中对应数据的修正值。

优选地，获取所述修正后的变化量序列的标准偏差，具体包括：

获取所述修正后的变化量序列中每个数据的平方值之和，记为第一数值；

获取所述修正后的变化量序列中所有数据之和的平方的均值，记为第二数值；

根据所述第一数值和所述第二数值，确定所述修正后的变化量序列的标准偏差。

优选地，获取所述变化量序列中每个数据的残差，具体包括：

获取所述变化量序列的平均值；

获取所述变化量序列中每个数据与所述平均值之间的差值，将所述差值记为每个数据的残差。

优选地，所述步骤3具体包括：

判断每个数据的残差是否大于3倍所述标准偏差，如是，则剔除所述监测数据序列中的对应数据。

优选地，在所述步骤3之后，还包括；

判断在所述监测数据序列之后是否有续接数据序列；

如有，则将所述监测数据序列与所述续接数据序列进行拼接，作为新的监测数据序列，重复所述步骤1至所述步骤3。

本发明的第二方面提供了一种基于上述监测数据正常跳变防剔除方法的监测数据正常跳变防剔除装置，包括变化序列获取模块、参数获取模块和数据剔除模块；

所述变化序列获取模块用于获取监测数据序列中相邻两个数据的变化量，得到变化量序列；

所述参数获取模块用于获取所述变化量序列的标准偏差及所述变化量序列中每个数据的残差；

所述数据剔除模块用于根据所述标准偏差和所述每个数据的残差确定是否需要剔除所述监测数据序列中的对应数据。

本发明的监测数据正常跳变防剔除方法及装置，相较于现有技术，具有如下有益效果：

本发明提出了一种监测数据正常跳变防剔除方法及装置，引进监测数据的前后变化量，对变化量形成一个新的序列，对该序列进行算法处理，能最大程度的保留监测数据有正常台阶跳变之后的数据，避免了正常跳变台阶数据的完全剔除，该方法及装置效果良好，具有工程实际应用价值。

附图说明

图1为某边坡表部变形某测点变化过程曲线图；

图2为本发明实施例的监测数据正常跳变防剔除方法的流程图；

图3为本发明具体实施例中TPZ05-3综合位移原始数据过程线；

图4为本发明具体实施例中 TPZ05-3使用传统的拉伊特准则剔除后的数据过程线；

图5为本发明具体实施例中TPZ05-3使用本发明提出的方法剔除后的数据过程线；

图6为本发明实施例的监测数据正常跳变防剔除装置的总体结构示意图。

具体实施方式

以下描述中，为了说明而不是为了限定，提出了诸如特定装置结构、技术之类的具体细节，以便透彻理解本发明实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本发明。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本发明的描述。

本发明提供了一种监测数据正常跳变防剔除方法，如图2所示，包括：

步骤1、获取监测数据序列中相邻两个数据的变化量，得到变化量序列。

示例性地，对于监测数据序列 ，其相邻两个数据的变化量如公式（1）所示：

（1）

式中，为监测数据序列中第/>个数据/>与第/>个数据/>的变化量，其中。

利用公式（1）可以得到变化量序列。

为提升后续基于变化量序列计算的准确性，本发明实施例在步骤1之后还包括：

对变化量序列中的每个数据进行修正，得到修正后的变化量序列，具体为：

获取固定值；

利用固定值修正变化量序列中的每个数据，具体为：分别计算变化量序列中的每个数据与固定值/>的差值，差值为变化量序列中对应数据的修正值。

示例性地，利用公式（2）修正变化量序列中的每个数据：

（2）

式中，为变化量序列中的数据，/>，/>为对/>修正后的值，记为修正值。

其中固定值为预设的值或者从变化量序列中任选的值，本发明实施例中固定值使用/>，即使用变化量序列中的第一个数据作为固定值。

步骤2、获取变化量序列的标准偏差及变化量序列中每个数据的残差。

当对变化量序列中的每个数据进行修正后，则步骤2具体为：

获取修正后的变化量序列的标准偏差及变化量序列中每个数据的残差，具体包括：

步骤2.1、获取修正后的变化量序列的标准偏差，具体包括：

步骤2.1.1、获取修正后的变化量序列中每个数据的平方值之和，记为第一数值。

示例性地，根据公式（3）确定第一数值：

（3）

步骤2.1.2、获取修正后的变化量序列中所有数据之和的平方的均值，记为第二数值。

示例性地，根据公式（4）确定第二数值：

（4）

步骤2.1.3、根据第一数值和第二数值，确定修正后的变化量序列的标准偏差。

示例性地，根据公式（5）确定修正后的变化量序列的标准偏差：

（5）

步骤2.2、获取变化量序列中每个数据的残差，具体包括：

步骤2.2.1、获取变化量序列的平均值。

示例性地，根据公式（6）确定变化量序列的平均值：

（6）

本发明实施例中，固定值使用/>，则上述公式（6）可以写为公式（7）的形式：

（7）

步骤2.2.2、获取变化量序列中每个数据与平均值之间的差值，将差值记为每个数据的残差。

示例性地，根据公式（8）确定每个数据的残差：

（8）

步骤3、根据标准偏差和每个数据的残差确定是否需要剔除监测数据序列中的对应数据，具体包括：

判断每个数据的残差是否大于3倍标准偏差，如是，则剔除监测数据序列中的对应数据。

示例性地，根据公式（9）确定是否需要剔除对应的数据：

（9）

利用公式（9）判断每个数据的残差是否大于3倍标准偏差，如是，则剔除值对应的，否则保留。

进一步地，在步骤3之后，还包括；

步骤4、判断在监测数据序列之后是否有续接数据序列；

如有，则将监测数据序列与续接数据序列进行拼接，作为一个新的监测数据序列，重复上述步骤1至步骤3。

采用该种方式，可以确保本发明的监测数据正常跳变防剔除方法所得结果的准确性。

本发明提出了一种监测数据正常跳变防剔除方法，该方法引进监测数据的前后变化量，对变化量形成一个新的序列，对该序列进行算法处理，能最大程度的保留监测数据有正常台阶跳变之后的数据，避免了正常跳变台阶数据的完全剔除，该方法效果良好，具有工程实际应用价值。

下面将以更为具体的实施例验证本发明方法的有效性。

在某水电边坡安全监测中，使用了机器人系统监测表部位移情况，选择其中的一个测点TPZ05-3，取该测点最近日期的34条测量源数据（综合位移原始数据）作为测试数据，如表1所示。

表1 TPZ05-3测点综合位移原始数据表

测点TPZ05-3的综合位移原始数据过程线如图3所示。

对上述综合位移原始数据分别使用原始的拉伊特准则和本发明提出的方法对跳变后的台阶数据剔除，得到剔除后的过程线如图4、图5所示，其中图4为TPZ05-3使用传统的拉伊特准则剔除后的数据过程线，图5为TPZ05-3使用本发明提出的方法剔除后的数据过程线。

对于上述过程的测点TPZ05-3而言，2023年2月11号后数据出现了跳变，综合后面两条数据以及现场了解，该数据并不是粗差，而是由于现场出现了滑坡等情况导致综合位移突然变大，在做数据分析的时候，由于只能看到当前数据，并不能得到未来的数据，所以不能将其看做是粗差。从源数据结合边坡现场可以看到，从2月11号后的数据可能在未来的一段时间内数据均为130mm上下波动，因此不能将其当成粗差处理。

原始的拉伊特准则使用算法次数较多，TPZ05-3使用了4次算法，每剔除一个数据后，重新计算了个数的均值，残差和标准差，但是本发明提出的方法就能有效地解决这个问题，序列只需计算出前后变化量序列的/>和/>即可；

原始的拉伊特准则都将跳变后的数据当做了粗差，进行了剔除，如果该跳变数据正常，会将后面所有跳变之后的数据均当做了粗差处理，不符合实际情况，而本发明引入了数据变化量，使用本发明提供的方法，只剔除了跳变后的第一条数据，之后跳变后的数据都做了保留，最大的保留了真实有效的数据，从而提高了边坡安全评价的准确性。

本发明的第二方面提供了一种基于上述监测数据正常跳变防剔除方法的监测数据正常跳变防剔除装置，如图6所示，包括变化序列获取模块、参数获取模块和数据剔除模块；

其中变化序列获取模块用于获取监测数据序列中相邻两个数据的变化量，得到变化量序列；

参数获取模块用于获取变化量序列的标准偏差及变化量序列中每个数据的残差；

数据剔除模块用于根据标准偏差和每个数据的残差确定是否需要剔除监测数据序列中的对应数据。

进一步地，本发明的监测数据正常跳变防剔除装置还包括数据采集模块、数据存储模块、数据清洗模块、数据剔除确认模块和数据保存模块，其中数据清洗模块包括上述变化序列获取模块、参数获取模块和数据剔除模块。

本发明实施例的数据采集模块是一种解决监测数据正常跳变防剔除方法及装置的底层模块。以水电站边坡安全监测数据为例，本发明根据水电站边坡安全监测数据来源的多样性与灵活性，可从Excel获得数据，可从测点厂商自动化数据库里获得数据，也可以人工往装置里上报数据。

本发明实施例的数据存储模块将底层的数据采集模块采集到的数据按照数据结构统一存储在数据库中，本实施例采用的数据库类型是关系型mysql数据库，方便后台存取数据。

本发明实施例的数据清洗模块可以去除数据存储模块中存储的数据中的粗差，并最大程度的保留真实有效的数据。

本发明实施例的数据剔除确认模块将执行数据清洗模块后的数据，先和传统的拉伊特准则算法剔除后的数据做对比，再进行人工确认，得到最终合理没有粗差野值的数据，本模块辅助判断的方法是绘制过程线判断数据的走向趋势。

本发明实施例的数据保存模块的存储方式有两种：（1）将数据导出至本地的Excel中。（2）将数据保存至后台数据库中，供其他模块使用。

由于边坡安全监测数据的多样性和复杂性，如果水电站边坡的某个测点出现了数据跳变的情况，仅使用传统算法很难保留跳变台阶之后的数据，只能通过人工的方式去判断该数据不为粗差将其保留。而本发明方法及装置引进了监测数据前后变化量形成了一个新的数据序列即变化量序列；然后对变化量序列做算法，而不是对原始监测数据序列做算法：使用变化量序列的第一个序列值作为一个固定值计算残差以及残差的平方序列；使用变化量序列的第一个序列值来校正变化量序列的均值。本发明解决了多个粗差数据需要计算多次标准差和均值的问题，序列只需计算出前后变化量序列的和/>即可。

对于有新数据续接时，本发明提出了将之前剔除后的数据再一次恢复到新的数据序列中后，引进监测数据前后变化量，再一次使用本发明提出的方法及装置进行剔除粗差，从而能够最大程度的保留了正常台阶跳变后的合理数据，避免了正常台阶跳变数据的完全剔除。

以上所述，仅是本发明的几个实施例，并非对本发明做任何形式的限制，虽然本发明以较佳实施例揭示如上，然而并非用以限制本发明，任何熟悉本专业的技术人员，在不脱离本发明技术方案的范围内，利用上述揭示的技术内容做出些许的变动或修饰均等同于等效实施案例，均属于技术方案范围内。

Claims (5)

1.一种监测数据正常跳变防剔除方法，其特征在于，包括：

步骤1、获取监测数据序列中相邻两个数据的变化量，得到变化量序列；分别计算所述变化量序列中的每个数据与固定值的差值，所述差值为所述变化量序列中对应数据的修正值，得到修正后的变化量序列；

步骤2、获取所述修正后的变化量序列的标准偏差及所述变化量序列中每个数据的残差；

获取所述修正后的变化量序列的标准偏差，具体包括：

获取所述修正后的变化量序列中每个数据的平方值之和，记为第一数值；获取所述修正后的变化量序列中所有数据之和的平方的均值，记为第二数值；

根据所述第一数值和所述第二数值，确定所述修正后的变化量序列的标准偏差；

获取所述变化量序列中每个数据的残差，具体包括：

获取所述变化量序列的平均值；获取所述变化量序列中每个数据与所述平均值之间的差值，将所述差值记为每个数据的残差；

步骤3、根据所述标准偏差和所述每个数据的残差确定是否需要剔除所述监测数据序列中的对应数据。

2.根据权利要求1所述的监测数据正常跳变防剔除方法，其特征在于，所述固定值为所述变化量序列中的第一个数据。

3.根据权利要求1所述的监测数据正常跳变防剔除方法，其特征在于，所述步骤3具体包括：

判断每个数据的残差是否大于3倍所述标准偏差，如是，则剔除所述监测数据序列中的对应数据。

4.根据权利要求1所述的监测数据正常跳变防剔除方法，其特征在于，在所述步骤3之后，还包括；

判断在所述监测数据序列之后是否有续接数据序列；

如有，则将所述监测数据序列与所述续接数据序列进行拼接，作为新的监测数据序列，重复所述步骤1至所述步骤3。

5.一种基于权利要求1-4任一项所述的监测数据正常跳变防剔除方法的监测数据正常跳变防剔除装置，其特征在于，包括变化序列获取模块、参数获取模块和数据剔除模块；

所述变化序列获取模块用于获取监测数据序列中相邻两个数据的变化量，得到变化量序列；

所述参数获取模块用于获取所述变化量序列的标准偏差及所述变化量序列中每个数据的残差；

所述数据剔除模块用于根据所述标准偏差和所述每个数据的残差确定是否需要剔除所述监测数据序列中的对应数据。