CN111222095A - 一种大坝变形监测中的粗差判别方法、装置及系统 - Google Patents

Abstract

本发明公开了一种大坝变形监测中的粗差判别方法、系统及存储介质，所述方法包括：计算出原始测值序列中各测值对应的离差和，进而形成离差和序列；计算所述离差和序列的均值和标准差；基于所述离差和序列的均值和标准差，剔除原始序列中满足粗差判定规则的测值，形成新的测值序列；基于所述新的测值序列，获得对应的第一回归分析模型；基于所述第一回归分析模型计算出原始测值序列中各测值对应的拟合残差；计算出原始测值序列中全体测值的标准差；将原始测值序列各测值对应的拟合残差与原始测值序列中全体测值的标准差进行比较，基于比较结果判断出粗差。本发明能够实现粗差的有效判别与剔除。

Description

一种大坝变形监测中的粗差判别方法、装置及系统

技术领域

本发明属于大坝安全监测技术领域，具体涉及一种大坝变形监测中的粗差判别方法、装置及系统。

背景技术

大坝安全是大坝发挥经济、社会等效益的前提和基础，大坝变形监测又是大坝安全监测中具有指标性意义的主要物理量，其异常值会对大坝性态的评价产生较大的影响，因此应对异常值进行综合分析，研究清楚其形成机理，如果异常值是因为系统或者测量等原因造成的，则应将其判为粗差，以便后续将其删除或者做其他特别处理。

所谓粗差，是指与大坝的真实性态及环境因子的变化无实际关联的，而在量值上与临近时序的其他正常测值存在明显差距的测值数据。传统的粗差判别方法基于数理统计原理，包括3σ准则、Dixon准则、Grubbs准则、肖维勒准则、罗曼诺夫斯基准则等，然而大坝的变形监测数值是受到坝体多个环境量因子的共同作用和影响的，如果直接基于监测值序列本身进行判别，易将因环境因子变化引起的监测极值误判为粗差，故不宜采用此种方式；另一方面，如Grubbs准则等基于残差进行判别的方法，虽然排除了上述问题，但是需要预先建立监测量与环境量因子的回归模型，这就导致了其隐含的粗差也不可避免的参与了回归建模，以行业内普遍使用的多元线性回归的统计特性来看，如果粗差的占比或者量值大到一定程度，会使得拟合出来的回归模型严重失真，从而加大了后续使用这些准则时误判或者漏判粗差的风险。

大坝变形监测统计学模型，是基于大坝变形监测成因分析的基础理论来确定因子空间，然后根据历史实测资料，运用统计学分析方法来计算各项因子的系数，从而建立起监测效应量和环境量的映射关系，达到定性、定量分析和估计大坝变形的成因、趋势和期望的目的。模型越逼近实际，则模型拟合值与实测值的残差理应越小，基于残差的粗差判别准则检验和判定粗差的可信度也应越高，反之亦然，由此可以看出，大坝变形监测统计学模型的拟合精度，是大坝变形监测粗差判别的基础和前提。

发明内容

针对上述问题，本发明提出一种大坝变形监测中的粗差判别方法、装置及系统，能够实现粗差的有效判别与剔除。

为了实现上述技术目的，达到上述技术效果，本发明通过以下技术方案实现：

第一方面，本发明提供了一种大坝变形监测中的粗差判别方法，包括：

计算出原始测值序列中各测值对应的离差和，进而形成离差和序列；

计算所述离差和序列的均值和标准差；

基于所述离差和序列的均值和标准差，剔除原始序列中满足粗差判定规则的测值，形成新的测值序列；

基于所述新的测值序列，获得对应的第一回归分析模型；

基于所述第一回归分析模型计算出原始测值序列中各测值对应的拟合残差；

计算出原始测值序列中全体测值的标准差；

将原始测值序列各测值对应的拟合残差与原始测值序列中全体测值的标准差进行比较，基于比较结果判断出粗差，完成粗差判别。

可选地，所述各测值对应的离差和的计算方法包括以下步骤：

从去除原始测值序列中去掉某测值，将剩余的n-1个测值与其对应的环境量因子集基于逐步回归算法进行建模，得到第二回归分析模型；

基于所述第二回归分析模型计算出n-1个测值对应的拟合测值，进而计算出n-1个测值的离差和，将所述离差和作为该被去掉的单个测值对应的离差和。

可选地，所述环境量因子集中各环境量因子的计算公式为：

δ＝δ_H+δ_T+δ_θ

其中，δ为环境量因子，δ_H为水压分量，δ_T为温度分量，δ_θ为时效分量，H为水库水头，t表示始测时间到本次监测时间的累计天数，a_i、c_i、d_i、ε₁、ε₂、f为因子系数。

可选地，所述第二回归分析模型的计算方法，包括以下步骤：

基于剩余的n-1个测值获得回归模型；

将各环境量因子逐个引入回归模型并进行F检验，如果满足显著性要求则选入，则同步对已选的环境量因子逐个进行t检验，对于因为新环境量因子选入而变得不再满足显著性要求的已选环境量因子，将其从回归模型中删除；而如果新引入环境量因子的F检验不满足显著性要求，则放弃，再对下一个新引入环境量因子进行重复的操作，直到既没有新的环境量因子可以选入回归模型，也没有不满足显著性要求的环境量因子需要从回归模型中剔除为止，完成第二回归分析模型的计算。

可选地，所述离差和序列的计算方法具体为：

将各测值对应的离差和按原始测值序列中的顺序排列，形成所述离差和序列。

可选地，所述基于所述离差和序列的均值和标准差，剔除原始序列中满足粗差判定规则的测值，形成新的测值序列，具体包括：

以离差和是否小于设定阈值为经验准则，将满足条件的离差和对应的测值排除，然后基于原始测值序列中剩余的测值集合形成新的测值序列；

所述设定阈值的计算公式为：

均值-标准差*设定倍数。

可选地，所述设定倍数为2。

可选地，所述将原始测值序列各测值对应的拟合残差与原始测值序列中全体测值的标准差进行比较，基于比较结果判断出粗差，具体包括以下步骤：

当原始测值序列某测值对应的拟合残差与原始测值序列中全体测值的标准差满足下式，则判定该测值为疑似粗差：

|V|≥Z(n)*S

其中，n为原始测值序列中测值总数，Z(n)的取值可以通过查肖维勒系数表得到，V为测值对应的拟合残差，S为原始测值序列中全体测值的标准差。

第二方面，本发明提供了一种大坝变形监测中的粗差判别装置，包括：

第一计算模块，用于计算出原始测值序列中各测值对应的离差和，进而形成离差和序列；

第二计算模块，用于计算所述离差和序列的均值和标准差；

剔除模块，用于基于所述离差和序列的均值和标准差，剔除原始序列中满足粗差判定规则的测值，形成新的测值序列；

第三计算模块，用于基于所述新的测值序列，获得对应的第一回归分析模型；

第四计算模块，用于基于所述第一回归分析模型计算出原始测值序列中各测值对应的拟合残差；

第五计算模块，用于计算出原始测值序列中全体测值的标准差；

判别模块，用于将原始测值序列各测值对应的拟合残差与原始测值序列中全体测值的标准差进行比较，基于比较结果判断出粗差，完成粗差判别。

第三方面，本发明提供了一种大坝变形监测中的粗差判别系统，包括：包括处理器及存储介质；

所述存储介质用于存储指令；

所述处理器用于根据所述指令进行操作以执行根据第一方面中任一项所述方法的步骤。

与现有技术相比，本发明的有益效果：

本发明既考虑了大坝变形的物理成因，防止将环境因子变化引起的变形监测极值误判为粗差，又降低了原始粗差的影响，使其尽量避免干扰基于回归拟合的残差计算，并权衡了粗差误判和漏判的风险，实例证明了本发明的可行、鲁棒和有效性，为大坝变形监测的粗差剔除提供了一种科学、合理的自动化辅助判别方法。

附图说明

为了使本发明的内容更容易被清楚地理解，下面根据具体实施例并结合附图，对本发明作进一步详细的说明，其中：

图1为本发明一种实施例的大坝变形监测中的粗差判别方法的流程示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明的保护范围。

下面结合附图对本发明的应用原理作详细的描述。

实施例1

本发明实施例中提供了一种大坝变形监测中的粗差判别方法，如图1所示，包括以下步骤：

(1)计算出原始测值序列中各测值对应的离差和，进而形成离差和序列；

(2)计算所述离差和序列的均值和标准差；

(3)基于所述离差和序列的均值和标准差，剔除原始序列中满足粗差判定规则的测值，形成新的测值序列；

(4)基于所述新的测值序列，获得对应的第一回归分析模型；由于剔除了部分疑似粗差测值，使其没有参与回归建模，使得新建立的变形监测回归模型受到的干扰相对减轻，从而更贴近于真实情况，有利于后续基于此模型进行最终的粗差判别；

(5)基于所述第一回归分析模型计算出原始测值序列中各测值对应的拟合残差；

(6)计算出原始测值序列中全体测值的标准差；

(7)基于肖维勒准则，将原始测值序列各测值对应的拟合残差与原始测值序列中全体测值的标准差进行比较，基于比较结果判断出粗差，完成粗差判别。

在本发明实施例的一种具体实施方式中，所述各测值对应的离差和的计算方法包括以下步骤：

所述原始测值序列中包含了n个测值，从去除原始测值序列中去掉某测值，将剩余的n-1个测值与其对应的环境量因子集基于逐步回归算法进行建模，得到第二回归分析模型；

基于所述第二回归分析模型计算出n-1个测值对应的拟合测值，进而计算出n-1个测值的离差和，将所述离差和作为该被去掉的单个测值对应的离差和。

具体地，所述环境量因子集中各环境量因子的计算公式为：

δ＝δ_H+δ_T+δ_θ

其中，δ为环境量因子，δ_H为水压分量，δ_T为温度分量，δ_θ为时效分量，H为水库水头，t表示始测时间到本次监测时间的累计天数，a_i、c_i、d_i、ε₁、ε₂、f为因子系数。

具体地，所述第二回归分析模型的计算方法，包括以下步骤：

基于剩余的n-1个测值获得回归模型；

将各环境量因子逐个引入回归模型并进行F检验，如果满足显著性要求则选入，则同步对已选的环境量因子逐个进行t检验，对于因为新环境量因子选入而变得不再满足显著性要求的已选环境量因子，将其从回归模型中删除；而如果新引入环境量因子的F检验不满足显著性要求，则放弃，再对下一个新引入环境量因子进行重复的操作，直到既没有新的环境量因子可以选入回归模型，也没有不满足显著性要求的环境量因子需要从回归模型中剔除为止，完成第二回归分析模型的计算。所述显著性要求可以根据具体的应用环境进行适应性设计。

在本发明实施例的一种具体实施方式中，所述离差和序列的计算方法具体为：

将各测值对应的离差和按原始测值序列中的顺序排列，形成所述离差和序列；具体地计算过程为：

对于原始测值序列中的每条测值，依次前一步骤求单个测值对应的离差和的操作，即可得出与原始测值序列对应的离差和序列。

在使用基于残差进行粗差判别的准则时，因考虑了效应量与环境因子的内在联系，降低了将环境量变化引起的极值误判为粗差的风险，但是因为建模过程中可能存在的粗差与正常测值共同参与了回归建模，由此降低了模型的精度，从而又增大了误判正常测值和漏判粗差的风险，因此回归前应进行数据预处理，将若干可能的粗差排除出回归建模过程，以尽量提高回归模型的精度。

由于可能存在的粗差的数量无法确定，因此本发明采用基于离差和的逐个测值排除法来进行整编预处理。根据多元线性回归模型可知，实测值与模型拟合值之间的离差平方和可用于表征模型的拟合精度，其计算方法如下式所示，

其中，X_i表示第i个观测值，

表示观测值对应的模型拟合值，n表样本总数。

可以看出，离差和越小则说明模型的拟合效果越好。那么对于某个实测值，如果回归建模时将其排除后得到的离差和越低，说明模型拟合精度提高的越多，该测值为粗差的可能性也就越大。因此数据预处理的整编原理为，对于每一个变形监测值，将其剔除后，基于剩余的测值样本进行回归建模，并计算出模型的离差和，这样就得到了一个与变形实测值一一对应的离差和序列。接着计算该序列的平均值和标准差，将小于(均值-标准差*2)的离差和对应的所有变形实测值剔除，如此即完成了整编预处理。

具体地，在本发明实施例的一种具体实施方式中，所述基于所述离差和序列的均值和标准差，剔除原始序列中对应的测值，形成新的测值序列，具体包括：

以离差和越小，则对应剔除的实测值越可能为粗差的原则，将所有离差和小于均值设定倍数标准差的模型对应的测值排除，然后基于原始测值序列中剩余的测值集合形成新的测值序列；优选地，所述设定倍数可以设置为2倍。

在本发明实施例的一种具体实施方式中，所述将原始测值序列各测值对应的拟合残差与原始测值序列中全体测值的标准差进行比较，基于比较结果判断出粗差，具体包括以下步骤：

当原始测值序列某测值对应的拟合残差与原始测值序列中全体测值的标准差满足下式，则判定该测值为疑似粗差：

|V|≥Z(n)*S

其中，n为原始测值序列中测值总数，Z(n)的取值可以通过查肖维勒系数表得到，V为测值对应的拟合残差，S为原始测值序列中全体测值的标准差。

实施例2

基于与实施例1相同的发明构思，本发明实施例中提供了一种大坝变形监测中的粗差判别装置，包括：

第一计算模块，用于计算出原始测值序列中各测值对应的离差和，进而形成离差和序列；

第二计算模块，用于计算所述离差和序列的均值和标准差；

剔除模块，用于基于所述离差和序列的均值和标准差，剔除原始序列中满足粗差判定规则的测值，形成新的测值序列；

第三计算模块，用于基于所述新的测值序列，获得对应的第一回归分析模型；

第四计算模块，用于基于所述第一回归分析模型计算出原始测值序列中各测值对应的拟合残差；

第五计算模块，用于计算出原始测值序列中全体测值的标准差；

判别模块，用于将原始测值序列各测值对应的拟合残差与原始测值序列中全体测值的标准差进行比较，基于比较结果判断出粗差，完成粗差判别。

在本发明实施例的一种具体实施方式中，所述各测值对应的离差和的计算方法包括以下步骤：

从去除原始测值序列中去掉某测值，将剩余的n-1个测值与其对应的环境量因子集基于逐步回归算法进行建模，得到第二回归分析模型；

基于所述第二回归分析模型计算出n-1个测值对应的拟合测值，进而计算出n-1个测值的离差和，将所述离差和作为该单个测值对应的离差和。

在本发明实施例的一种具体实施方式中，所述环境量因子集中各环境量因子的计算公式为：

δ＝δ_H+δ_T+δ_θ

其中，δ为环境量因子，δ_H为水压分量，δ_T为温度分量，δ_θ为时效分量，H为水库水头，t表示始测时间到本次监测时间的累计天数，a_i、c_i、d_i、ε₁、ε₂、f为因子系数。

具体地，所述第二回归分析模型的计算方法，包括以下步骤：

基于剩余的n-1个测值获得回归模型；

将各环境量因子逐个引入回归模型并进行F检验，如果显著则选入，则同步对已选的环境量因子逐个进行t检验，对于因为新环境量因子选入而变得不再显著的已选环境量因子，将其从回归模型中删除；而如果新引入环境量因子的F检验不显著，则放弃，再对下一个新引入环境量因子进行重复的操作，直到既没有新的环境量因子可以选入回归模型，也没有不显著的环境量因子需要从回归模型中剔除为止，完成第二回归分析模型的计算。

所述基于所述离差和序列的均值和标准差，剔除原始序列中满足粗差判定规则的测值，形成新的测值序列，具体包括：

根据离差和越小，则对应剔除的测值越可能为粗差的原则，综合权衡排除疑似粗差和保持各态历经的完整性两种需求，以离差和是否小于设定阈值为经验准则，将满足条件的离差和对应的测值排除，然后基于原始测值序列中剩余的测值集合形成新的测值序列；所述设定阈值的计算公式为均值-标准差*设定倍数，在具体实施过程中，所述设定倍数可以设置为2。

所述将原始测值序列各测值对应的拟合残差与原始测值序列中全体测值的标准差进行比较，基于比较结果判断出粗差，具体包括以下步骤：

当原始测值序列某测值对应的拟合残差与原始测值序列中全体测值的标准差满足下式，则判定该测值为疑似粗差：

|V|≥Z(n)*S

其中，n为原始测值序列中测值总数，Z(n)的取值可以通过查肖维勒系数表得到，V为测值对应的拟合残差，S为原始测值序列中全体测值的标准差。

实施例3

基于与实施例1相同的发明构思，本发明实施例中提供了一种大坝变形监测中的粗差判别系统，包括：包括处理器及存储介质；

所述存储介质用于存储指令；

所述处理器用于根据所述指令进行操作以执行根据实施例1中任一项所述方法的步骤。

以上显示和描述了本发明的基本原理和主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。

Claims (10)

1.一种大坝变形监测中的粗差判别方法，其特征在于，包括：

计算出原始测值序列中各测值对应的离差和，进而形成离差和序列；

计算所述离差和序列的均值和标准差；

基于所述离差和序列的均值和标准差，剔除原始序列中满足粗差判定规则的测值，形成新的测值序列；

基于所述新的测值序列，获得对应的第一回归分析模型；

基于所述第一回归分析模型计算出原始测值序列中各测值对应的拟合残差；

计算出原始测值序列中全体测值的标准差；

将原始测值序列各测值对应的拟合残差与原始测值序列中全体测值的标准差进行比较，基于比较结果判断出粗差，完成粗差判别。

2.根据权利要求1所述的一种大坝变形监测中的粗差判别方法，其特征在于：所述各测值对应的离差和的计算方法包括以下步骤：

从去除原始测值序列中去掉某测值，将剩余的n-1个测值与其对应的环境量因子集基于逐步回归算法进行建模，得到第二回归分析模型；

基于所述第二回归分析模型计算出n-1个测值对应的拟合测值，进而计算出n-1个测值的离差和，将所述离差和作为该被去掉的单个测值对应的离差和。

3.根据权利要求2所述的一种大坝变形监测中的粗差判别方法，其特征在于：所述环境量因子集中各环境量因子的计算公式为：

δ＝δ_H+δ_T+δ_θ

其中，δ为环境量因子，δ_H为水压分量，δ_T为温度分量，δ_θ为时效分量，H为水库水头，t表示始测时间到本次监测时间的累计天数，a_i、c_i、d_i、ε₁、ε₂、f为因子系数。

4.根据权利要求2所述的一种大坝变形监测中的粗差判别方法，其特征在于：所述第二回归分析模型的计算方法，包括以下步骤：

基于剩余的n-1个测值获得回归模型；

将各环境量因子逐个引入回归模型并进行F检验，如果满足显著性要求则选入，则同步对已选的环境量因子逐个进行t检验，对于因为新环境量因子选入而变得不再满足显著性要求的已选环境量因子，将其从回归模型中删除；而如果新引入环境量因子的F检验不满足显著性要求，则放弃，再对下一个新引入环境量因子进行重复的操作，直到既没有新的环境量因子可以选入回归模型，也没有不满足显著性要求的环境量因子需要从回归模型中剔除为止，完成第二回归分析模型的计算。

5.根据权利要求1或2所述的一种大坝变形监测中的粗差判别方法，其特征在于：所述离差和序列的计算方法具体为：

将各测值对应的离差和按原始测值序列中的顺序排列，形成所述离差和序列。

6.根据权利要求1所述的一种大坝变形监测中的粗差判别方法，其特征在于：所述基于所述离差和序列的均值和标准差，剔除原始序列中满足粗差判定规则的测值，形成新的测值序列，具体包括：

以离差和是否小于设定阈值为经验准则，将满足条件的离差和对应的测值排除，然后基于原始测值序列中剩余的测值集合形成新的测值序列；

所述设定阈值的计算公式为：

均值-标准差*设定倍数。

7.根据权利要求6所述的一种大坝变形监测中的粗差判别方法，其特征在于：所述设定倍数为2。

8.根据权利要求1所述的一种大坝变形监测中的粗差判别方法，其特征在于：所述将原始测值序列各测值对应的拟合残差与原始测值序列中全体测值的标准差进行比较，基于比较结果判断出粗差，具体包括以下步骤：

当原始测值序列某测值对应的拟合残差与原始测值序列中全体测值的标准差满足下式，则判定该测值为疑似粗差：

|V|≥Z(n)*S

其中，n为原始测值序列中测值总数，Z(n)的取值可以通过查肖维勒系数表得到，V为测值对应的拟合残差，S为原始测值序列中全体测值的标准差。

9.一种大坝变形监测中的粗差判别装置，其特征在于，包括：

第一计算模块，用于计算出原始测值序列中各测值对应的离差和，进而形成离差和序列；

第二计算模块，用于计算所述离差和序列的均值和标准差；

剔除模块，用于基于所述离差和序列的均值和标准差，剔除原始序列中满足粗差判定规则的测值，形成新的测值序列；

第三计算模块，用于基于所述新的测值序列，获得对应的第一回归分析模型；

第四计算模块，用于基于所述第一回归分析模型计算出原始测值序列中各测值对应的拟合残差；

第五计算模块，用于计算出原始测值序列中全体测值的标准差；

判别模块，用于将原始测值序列各测值对应的拟合残差与原始测值序列中全体测值的标准差进行比较，基于比较结果判断出粗差，完成粗差判别。

10.一种大坝变形监测中的粗差判别系统，其特征在于，包括：包括处理器及存储介质；

所述存储介质用于存储指令；

所述处理器用于根据所述指令进行操作以执行根据权利要求1～8任一项所述方法的步骤。

Images